Установка Lsyncd в Unix/Linux

Lsyncd (Live Syncing Daemon) — утилита для синхронизации файлов между сервером(ами). Файлы на локальном компьютере отслеживаются каждые несколько секунд, и если какие-либо изменения отмечены, они затем реплицируются и синхронизируются с удаленными серверами. По умолчанию, Lsync использует Rsync для репликации файлов с локальной машины и передает только файлы, которые были изменены. Тонкоструктурную настройку можно выполнить через файл конфигурации. Пользовательские конфигурации действий могут даже быть написаны с нуля в каскадных слоях, начиная от shell до кода, написанного на языке Lua.

Основные Lsyncd функции:

• Проверяет, нужно ли синхронизировать данные с локальной машиной на удаленный сервер(ы).
• Выполняет проверку наоборот.
• Синхронизация с вашей локальной  машины на удаленный (ые).
• Синхронизирует наоборот.
• Может редактировать файл «rsync includes»

Установка Lsyncd в Unix/Linux

Процесс установки очень прост и не требует очень больших усилий. Я приведу несколько примеров по установки данной утилиты на различные Unix/Linux ОС.

Установка Lsyncd в Debian/Ubuntu

# apt-get update -y && apt-get update -y

Выполним установку:

# apt-get install lsyncd -y

После установки, переходим к настройке.

Установка Lsyncd в CentOS/RedHat/Fedora

# yum -y update

Выполним установку:

# yum install lsyncd -y

И, установим дополнительные пакеты:

# yum install lua lua-devel pkgconfig gcc asciidoc -y

После установки, переходим к настройке.

Установка Lsyncd в Mac OS X

Ставим себе на машину homebrew:

Установка homebrew на Mac OS X

И выполняем установку:

$ brew install lsyncd

После установки, переходим к настройке.

Настройка и использование Lsyncd в Unix/Linux

Чтобы все хорошо работало, нужно сгенерировать RSA ключ и положить его на удаленный сервер. Я пропущу данный шаг, т.к я это уже сделал, а если не знаете как это сделать вот статья:

SSH без пароля или аутентификация с использованием шифрованных ключей

Настройка и использование Lsyncd на Mac OS X

И так, я у себя на mac OS X хотел бы настроить lsyncd таким образом, чтобы он синхронизировал все изменения.

И так, я установил данную утилиту и следующим действием, я создам папку где будет хранится лог-файлы:

$ mkdir /usr/local/var/log/lsyncd

И создаю нужные файлы:

$ touch /usr/local/var/log/lsyncd/lsyncd.{log,status}

PS: В ОС Linux они могут лежать в /var/log/lsyncd. Если не имеется такой папки, то создаем.

Далее, я создаю каталог lsyncd в /etc/ для настройки конфига:

$ sudo mkdir /etc/lsyncd

После создания данной папки, я создаю конфигурационный файл:

# vim /etc/lsyncd/linux_notes.conf.lua

Содержание следующее:

settings  {
    logfile = "/usr/local/var/log/lsyncd/lsyncd.log",
    statusFile = "/usr/local/var/log/lsyncd/lsyncd.status",
    statusInterval = 1,
    nodaemon = off
}
sync {
    default.rsyncssh,
    source = "/Users/captain/tmp",
    host = "captain@31.187.70.238",
    targetdir = "/home/captain/",
    excludeFrom="/etc/lsyncd/linux_notes.exclude",
    delay=3,
    rsync = {
        sparse = true,
        update = true,
        links = true,
        times = true,
        protect_args = false,
        archive = true,
        compress = true,
        whole_file = false,
        acls = true,
        verbose = true
    },
    ssh = {
        port = 22,
        _extra = {"/usr/bin/ssh -l captain -p 22 -i ~/.ssh/id_rsa -o StrictHostKeyChecking=no"}
    }     

}

Иногда нужно исключать некоторые каталоги. Вы можете создать файлe и добавить исключения в строке как в этом примере:

# vim /etc/lsyncd/linux_notes.exclude

файл имеет следующее содержание:

.git/*
.*

Теперь мы можем запустить службу lsyncd, выполнив следующую команду:

$ sudo lsyncd /etc/lsyncd/linux_notes.conf.lua -delay 0

Настройка и использование Lsyncd на CentOS

Вот еще пример (проверялось на CentOS 7):

# vim  /etc/lsyncd.conf

И прописываем:

settings  {
    logfile = "/var/log/lsyncd/lsyncd.log",
    statusFile = "/var/log/lsyncd/lsyncd.status",
    statusInterval = 1
}
sync {
    default.rsyncssh,
    source = "/var/www/html",
    host = "31.187.70.238",
    targetdir = "/home/backups/",
    rsync = {
        sparse = true,
        update = true,
        temp_dir="/tmp/",
        links = true,
        times = true,
        protect_args = false,
        archive = true,
        compress = true,
        whole_file = false,
        acls = true,
        verbose = true
     },
     ssh = {
        port = 22,
        _extra = {"/usr/bin/ssh -l captain -p 22 -i /home/captain/.ssh/id_rsa -o StrictHostKeyChecking=no"}
    }     

}

ИЛИ, если использовать RSYNC:

settings = {
 logfile = "/var/log/lsyncd/lsyncd.log",
 statusFile = "/var/log/lsyncd/lsyncd.stat",
 statusInterval = 2,
},
sync{
 default.rsync,
 source="/var/www/html",
 target="31.187.70.238:/home/captain/", 
 rsync={rsh ="/usr/bin/ssh -l captain -i /home/captain/.ssh/id_rsa",}
}

Запускаем демон:

# service lsyncd restart

Добавляем в автозагрузку ОС:

# chkconfig lsyncd on

Если используете CentOS 7:

# systemctl restart lsyncd

И

# systemctl enable lsyncd

Подключаемся к серверу и проверяем папки. Так же, можно посмотреть логи.

Репликация в 2 стороны

Чтобы работала репликация и в обратную сторону — на сервере в другом регионе проведите такие же настройки, но в файле конфигурации lsyncd укажите адрес первого сервера. Проверьте, что данные реплицируются и в обратном направлении. В конфигурации lsyncd уже указана временная директория temp_dir, использование которой необходимо для двусторонней синхронизации.

Репликация на несколько серверов

Вот пример конфиругации:

settings = {
   delay        = 1,
   maxProcesses = 3,
   logfile = "/var/log/lsyncd/lsyncd.log",
   statusFile = "/var/log/lsyncd/lsyncd.stat",
}

targetlist = {
 "66.66.66.10:/var/www/html", 
 "66.66.66.20:/var/www/html"
}

for _, server in ipairs(targetlist) do
  sync{ default.rsync,
    source="/var/www/html",
	rsyncOps="-rltvupgo"
    target=server
  }
end

На этом, у меня все, статья  «Установка Lsyncd в Unix/Linux» завершена.

Создание бекапа MySQL/MariaDB удаленно через SSH в Unix/Linux

В своей теме «Создание бекапа MySQL/MariaDB удаленно через SSH в Unix/Linux» хочу рассказать как можно сдеалать бекап баз данных MySQL/MariaDB удаленно через SSH в Unix/Linux.

Вопрос:
Я хочу создать резервную копию баз данных MySQL (MariaDB) с удаленного сервере. Есть ли способ для резервного копирования базы данных (MariaDB) с удаленного сервера MySQL  с использованием SSH?

Ответ:
mysqldump это утилита командной строки для резервного копирования базы данных MySQL (MariaDB). Для того, чтобы создать резервную копию БД c удаленного сервера, вы можете отправить команду MySQLDump удаленно через SSH с использование «трубы» для вывода обратно на локальный компьютер. Для повышения эффективности, выход mysqldump можно сжат:

$ ssh -C your_remote_user@your_remote_host_OR_IP mysqldump -uYOUR-MYSQL-PASSWORD-FOR-USER -pYOUR-MYSQL-PASSWORD-FOR-USER YOUR_DB YOUR_DB | gzip -c | cat > ~/my_remote_backup.sql.gz

Кроме того, вы можете использовать команду SSH на удаленном хосте и перенаправить вывод ( создание дампа БД на другой сервер).

Вот команда:

# mysqldump -uYOUR-MYSQL-USER -pYOUR-MYSQL-PASSWORD-FOR-USER YOUR_DB | gzip -c | ssh your_local_username@your_local_host 'cat > ~/my_remote_backup.sql.gz'

Я часто добавляю на такие большие команды ( чтобы постоянно не вводить их, алиасы). И сейчас покажу как это можно сделать:

# vim ~/.bashrc

И добавляю следующий код:

[...]
#Создание бекапа MySQL/MariaDB удаленно через SSH в Unix/Linux
alias create-mysql-backup-remote="mysqldump -uYOUR-MYSQL-USER -pYOUR-MYSQL-PASSWORD-FOR-USER YOUR_DB | gzip -c | ssh your_local_username@your_local_host 'cat > ~/my_remote_backup.sql.gz'"
[...]

После чего, стоит перезагрузить данный файл, чтобы вступили все изменения:

# source ~/.bashrc

Если не выдало никаких ошибок, то все хорошо и можно использовать данный алиас на команду. Это куда проще чем прописывать каждый раз данную команду.

PS: Будет работать в том случае, если у вас настроено подключение по SSH с использованием ключа. Если без, то будет запрашивать пароль от сервера.

А на этом все, статья «Создание бекапа MySQL/MariaDB удаленно через SSH в Unix/Linux» подошла к завершению.

Установка R1Soft CDP Agent на RedHat/CentOS/Fedora

Прежде чем мы начнем давайте посмотрим, что же собой представляет R1Soft. R1Soft является доступным, простым в использовании ПО для резервного копирования с высокой производительностью, служит для восстановления данных и даже восстановления целого сервера с бекапа. Его программное обеспечение, которое используется для резервного копирования данных на клиете (R1Soft agent), который присваивается R1Soft сервера на основе конфигураций, которые мы определяем. R1Soft также может быть использован для восстановления файлов и баз данных, но об этом немного позже.

Для того чтобы клиент мог общаться с сервером R1Soft необходимо установить R1Soft CDP Agent на стороне клиента. После установки данного агента, мы можем добавить его на сервер R1Soft для обработки данных.

Давайте предположим, что R1Soft Server Enterprise Edition уже настроен и запущен на IP xxx.xxx.xxx.xxx (попозже я расскажу как можно это сделать). По этому, я в данной статье «Установка R1Soft CDP Agent на RedHat/CentOS/Fedora» хочу рассказать как можно это сделать и установить данный агент.

В данной теме я буду рассказывать как можно установить R1Soft agent на такие ОС : CentOS, Fedora или RedHat. Но если нужно установить на Debian или Ubuntu, то ознакомиться можно:
Установка R1Soft CDP Agent на Debian/Ubuntu   

Есть два способа, с помощью которых вы можете установить CDP-агент на Linux:

1. Автоматический режим:
Здесь мы добавляем пакеты хранилище R1Soft конфигурации yum, а затем устанавливаем агент с помощью yum.

Перед самой нам нужно добавить репозиторий:

# vim /etc/yum.repos.d/r1soft.repo

И добавляем в него следующий текст:

[r1soft]
name=R1Soft Repository Server
baseurl=http://repo.r1soft.com/yum/stable/$basearch/
enabled=1
gpgcheck=0

Можно убедиться что нормально сохранили и не чего не забыли следующей командой:

# cat /etc/yum.repos.d/r1soft.repo

Выполняем установку:

# yum install r1soft-cdp-enterprise-agent

Так же для работы клиент-сервер нужно установить или обновить kernel-headers или kernel-devel по этому:

# yum install kernel-headers-`uname -r`
# yum install kernel-devel-`uname -r`

Восстановление модуля CDP Agent

# r1soft-setup --get-module

Делаем перезагрузку CDP Agent-а:

# /etc/init.d/cdp-agent restart

Аутентификация агента:

По соображениям безопасности, CDP Agent принимает подключения только от известных CDP-серверов. Для авторизации CDP сервера для CDP Agent-а, необходимо добавить ключ CDP Сервера в конфигурацию агента:

# r1soft-setup –get-key [Server_URL]

Для примера:
# r1soft-setup –get-key http://xxx.xxx.xxx.xxx

Вы можете просмотреть установленные ключи с помощью следующей команды:
# r1soft-setup —list-key

Установка ключа аутентификации:

# serverbackup-setup --get-key [Server_URL]

Пример:
# serverbackup-setup —get-key http://199.116.251.51

Чтобы проверить что создался ключ, выполните:

# cat /usr/sbin/r1soft/conf/server.allow/199.116.251.51

Если установлен фаервол (IPtables), то нужно добавить правило:

# iptables -I INPUT -p tcp --dport 1167 -j ACCEPT

2. Установка с вручном режиме:
Здесь мы загружаем бинарные пакеты R1Soft, а затем выполняем установку их с помощью RPM. Нужно скачать пакеты и установить их, нет необходимости это описывать т.к есть хорошее описание выше.

На этом я завершаю данную статью «Установка R1Soft CDP Agent на RedHat/CentOS/Fedora».

Установка Percona XtraDB Cluster

Percona XtraDB Cluster (PXC) является кластером с высокой доступностью и высокой масштабируемостью, решение для MySQL кластеризации. Percona сервера, Percona XtraBackup и Galera library служит для обеспечения высокой доступности объединеных друг с другом серверов, как PXC. Это обеспечивает синхронную, Multi-Master и параллельную репликации. Все узлы (nodes) этого кластера готовы работать и отвечать на запросы чтение / запись одновременно. Сейчас, я хотел бы написать данную статью «Установка Percona XtraDB Cluster» в виде заметки.

ВМ используется для тестирования. Здесь я использовал 1 виртуальную машину с ОС — CentOS и 2 виртуальной машины с Ubuntu. В реальном мире не смешивайте различные ОС в кластер. Это только для тестовых целей. Все узлы должны быть с единой ОС и той же конфигурации аппаратных средств / программного обеспечения.

И так, у меня имеется:

CentOS19        97.79.237.19           node1
CentOS16        97.79.237.16           node2
Ubuntu17        97.79.237.17           node3

Добавление репозитория для необходимой ОС.

Проверим какая у нас разрядность:

# uname -a

Centos/Redhat 32 бит (i386):

# yum install http://www.percona.com/downloads/percona-release/percona-release-0.0-1.i386.rpm

Centos/Redhat 64 бит (x86_x64):

# yum install http://www.percona.com/redir/downloads/percona-release/percona-release-0.0-1.x86_64.rpm

Установка PXC (кластера на перкона):

# yum install Percona-XtraDB-Cluster-56

Иногда требуется установка socat.
Для начала подключаем репозиторий EPEL и после чего выполняем:

$ yum install socat
$ yum install Percona-XtraDB-Cluster-56

Проверим работает ли mysql:

# ps -ef | grep mysql

root     22706 19675  0 08:17 pts/0    00:00:00 grep mysql

Так же можно установить на Debian/Ubuntu:

1. Способ.
Для начала добавляем клюк с репозиторием:

$ sudo apt-key adv --keyserver keys.gnupg.net --recv-keys 1C4CBDCDCD2EFD2A

Нужно добавить в файл /etc/apt/sources.list репозиторий:

# vim /etc/apt/sources.list

Добавляем:

[...]
deb http://repo.percona.com/apt raring main
deb-src http://repo.percona.com/apt raring main
[...]

Обновляем локальный кеш:

$ sudo apt-get update

Устанавливаем PXC:

$ sudo apt-get install percona-xtradb-cluster-56

Проверяем:

$ ps -ef | grep mysql

2. Способ.
Скачиваем готовые пакеты:

# cd /usr/local/src
# wget http://www.percona.com/redir/downloads/percona-release/debian/percona-release_0.1-3.squeeze_all.deb

или

# wget http://www.percona.com/redir/downloads/percona-release/debian/percona-release_0.1-3.wheezy_all.deb

После чего устанавливаем. Мне на данный момент не сильно это нужно было, по этому я рассказал и собрал материал в кучу ( если понадобится попозже, я переделаю и дополню данную статью). Если есть вопросы, пишите, я попробую помочь.

MySQL Config: node1

[root@Centos19 ~]# mysql -uroot -p

mysql@percona1> CREATE USER 'sstuser'@'localhost' IDENTIFIED BY 'your_passwd_for_user_sstuser';
mysql@percona1> GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO 'sstuser'@'localhost';
mysql@percona1> FLUSH PRIVILEGES;

и

[root@Centos19 ~]# vim /etc/my.cnf

[mysqld]

datadir=/var/lib/mysql
user=mysql

# Path to Galera library
wsrep_provider=/usr/lib64/libgalera_smm.so

# Cluster connection URL contains the IPs of node#1, node#2 and node#3
#wsrep_cluster_address = gcomm://97.79.237.19,97.79.237.16,97.79.237.17
wsrep_cluster_address = gcomm://

#In order for Galera to work correctly binlog format should be ROW
binlog_format=ROW

# MyISAM storage engine has only experimental support
default_storage_engine=InnoDB

# This changes how InnoDB autoincrement locks are managed and is a requirement for Galera
innodb_autoinc_lock_mode=2

# Node #1 address
wsrep_node_address=97.79.237.19

# SST method
wsrep_sst_method=xtrabackup-v2

# Cluster name
wsrep_cluster_name=PXC

# Authentication for SST method
wsrep_sst_auth="sstuser:your_passwd_for_user_sstuser"

wsrep_cluster_address = gcomm:// — это строка, которая говорит нам что мы пытаемся создать кластер и 1-й инодой, потом мы добавим еще другие ноды. Но для начала нужно именно так!

wsrep_provider = /usr/lib/libgalera_smm.so — это путь где лежит библиотека для 32 битной ОС

wsrep_provider = /usr/lib64/libgalera_smm.so — это путь где лежит библиотека для 64 битной ОС

По этому в зависимости от розрядности вашей ОС поправьте путь, у меня х64 бит.

Начальная загрузка кластера:

[root@Centos19 ~]# /etc/init.d/mysql bootstrap-pxc

запуск node на percona cluster

mysql> show global status like '%wsrep_cluster%';

MySQL Config: node2

root@CentOS16:~# vim /etc/my.cnf

Прописываем:

# Percona Cluster config file
[mysqld]

datadir=/var/lib/mysql
user=mysql

# Cluster name
wsrep_cluster_name = PXC

# Path to Galera library
wsrep_provider = /usr/lib64/libgalera_smm.so

# Cluster connection URL contains the IPs of node#1, node#2 and node#3
wsrep_cluster_address = gcomm://97.79.237.19,97.79.237.16,97.79.237.17

# In order for Galera to work correctly binlog format should be ROW
binlog_format=ROW

# MyISAM storage engine has only experimental support
default_storage_engine=InnoDB

# This changes how InnoDB autoincrement locks are managed and is a requirement for Galera
innodb_autoinc_lock_mode=2

# Node #2 address
wsrep_node_address = 97.79.237.16

# SST method
wsrep_sst_method=xtrabackup-v2

# Authentication for SST method
wsrep_sst_auth="sstuser:your_passwd_for_user_sstuser"

Запускаем Mysql в кластере:

root@CentOS16:~# /etc/init.d/mysql start

Выводим статус кластера:

# mysql -uroot -p
mysql> show global status like '%wsrep_cluster%';

MySQL Config: node3

root@Ubuntu17:~# vim /etc/mysql/my.cnf

Прописываем:

# Percona Cluster config file
[mysqld]

datadir=/var/lib/mysql
user=mysql

# Cluster name
wsrep_cluster_name = PXC

# Path to Galera library
wsrep_provider = /usr/lib64/libgalera_smm.so

# Cluster connection URL contains the IPs of node#1, node#2 and node#3
wsrep_cluster_address = gcomm://97.79.237.19,97.79.237.16,97.79.237.17

# In order for Galera to work correctly binlog format should be ROW
binlog_format=ROW

# MyISAM storage engine has only experimental support
default_storage_engine=InnoDB

# This changes how InnoDB autoincrement locks are managed and is a requirement for Galera
innodb_autoinc_lock_mode=2

# Node #3 address
wsrep_node_address = 97.79.237.17

# SST method
wsrep_sst_method=xtrabackup-v2

# Authentication for SST method
wsrep_sst_auth="sstuser:your_passwd_for_user_sstuser"

Запускаем кластер:

root@Ubuntu17:~# /etc/init.d/mysql start

Проверяем статус кластера:

mysql> show global status like '%wsrep_cluster%';

После этого, идем на node1 (самый первый сервер) и меняем строчку:

# vim /etc/my.cnf

Ищем:

wsrep_cluster_address = gcomm://

Меняем на:

wsrep_cluster_address = gcomm://97.79.237.19,97.79.237.16,97.79.237.17

После чего перезапускаем сервер с первой нодой:

# service mysql restart

Выполняем тест репликации:

root@CentOS16:~# mysql -e "create database testing"
root@CentOS16:~# mysql -e "create table testing.city (id int, cname varchar(20));"
root@Ubuntu17:~# mysql -e "insert into testing.city values (1,'Hyderabad')"

Проверим статус кластера и поглядим, работате ли все нормально:

[root@Centos19 ~]# mysql -e "show global status like '%wsrep_cluster%';"

[root@Centos19 ~]# mysql -e "select * from testing.city"

И должна вывести столбцы данной базы (testing).

Удаление Percona Cluster

Чтобы удалить перкону, стоит выполнить команду:

# yum remove Percona-XtraDB-Cluster*
# yum remove percona*
# yum remove mysql55w-libs

Приведенный выше пример показывает, что все узлы в кластерах синхронизированы и работают, как ожидается.

Вывод:

Percona XtraDB кластера является хорошим инструментом для обеспечения высокой нагрузки. Percona сервера, Percona XtraBackup и Galera Cluster объединены друг с другом. Выключите несколько узлов и посмотрите, как можно их восстановить.

Вот и все, я завершил «Установка Percona XtraDB Cluster», проверялось на 3 нодах с CentOS. Очень доволен данным кластером.