Юникс и другие » highload http://boombick.org/blog Just another WordPress weblog Tue, 29 Nov 2011 22:14:38 +0000 en hourly 1 http://wordpress.org/?v=3.0 Собственный видеохостинг http://boombick.org/blog/posts/72 http://boombick.org/blog/posts/72#comments Thu, 21 May 2009 15:40:56 +0000 boombick http://boombick.org/blog/posts/72 Статья описывает процесс построения собственного видеохостинга (как, например, YouTube) на базе lighttpd с модулем mod_flv_streaming для трансляции потокового видео в формате .flv и модулем
mod_secdownload для предотвращения хотлинкинга. В качестве проигрывателя мы возьмем FlowPlayer, который поддерживает mod_flv_streaming. Также мы опишем процесс перекодировки видео различных форматов (.mp4 .mov .mpg .3gp .mpeg .wmv .avi) в формат FLV, который будет использоваться на нашем сайте

Необходимые замечания
Перед описанием непосредственно процесса давайте определим используемые в статье некоторые параметры, которые могут отличаться от ваших (и наверняка отличаются :))
Все происходит на сервере с адресом server1.example.com и IP-адресом 192.168.0.100. Предполагается, что на сервере уже установлен lighttpd и php с поддержкой MySQL
В Лайти также включена поддержка PHP. В качестве операционной системы мы используем Debian Etch
Итак, приступим

Устанавливаем LAME
LAME – это mp3-декодер. Он необходим нам для того, чтобы в наших сконвертированных видеофайлах сохранялась аудиодорожка. В репозитриях Etch LAME отсутствует, поэтому мы будем собирать его вручную.
Установим необходимые пакеты:

apt-get install build-essential

Затем скачаем и скомпилируем LAME

cd /tmp
wget http://mesh.dl.sourceforge.net/sourceforge/lame/lame-3.97.tar.gz
tar xvfz lame-3.97.tar.gz
cd lame-3.97
./configure --enable-shared --prefix=/usr
make
make install

Устанавливаем ffmpeg
Для перекодирования видео мы будем использовать ffmpeg. Установим его и плагины к нему

apt-get install ffmpeg libavcodec0d libavformat0d libavifile-0.7c2 libpostproc0d libasound2-plugins avifile-player avifile-utils avifile-mad-plugin avifile-mjpeg-plugin avifile-vorbis-plugin

Проблема LAME в Debian заключается в том, что он не поддерживает кодирование mp3 из-за патентных ограничений, а значит наше видео превратится в “немое кино”. Чтож, немного поправим пакет

cd /usr/src/
apt-get source ffmpeg
cd ffmpeg-0.cvs20060823

Отредактируем файл debain/rules. В начале файла есть две строки confflags с опциями сборки. Добавим в одну из них --enable-mp3lame и сохраним файл

[...]
confflags += --enable-gpl --enable-pp --enable-pthreads --enable-mp3lame
confflags += --enable-vorbis --enable-libogg --enable-a52 --enable-dts --enable-libgsm
[...]

Соберем пакет

dpkg-buildpackage

dpkg-buildpackage, скорее всего, будет “ругаться” на отсутствующие пакеты, которые нужны ему для сборки ffmpeg

server1:/usr/src/ffmpeg-0.cvs20060823# dpkg-buildpackage
dpkg-buildpackage: source package is ffmpeg
dpkg-buildpackage: source version is 0.cvs20060823-8
dpkg-buildpackage: source changed by Sam Hocevar (Debian packages) 
dpkg-buildpackage: host architecture i386
dpkg-buildpackage: source version without epoch 0.cvs20060823-8
dpkg-checkbuilddeps: Unmet build dependencies: debhelper (>= 4.0) quilt libogg-dev libvorbis-dev liba52-dev libdts-dev zlib1g-dev libsdl1.2-dev libfreetype6-dev libimlib2-dev texi2html libraw1394-dev libdc1394-13-dev libtheora-dev (>> 0.0.0.alpha4) libgsm1-dev
dpkg-buildpackage: Build dependencies/conflicts unsatisfied; aborting.
dpkg-buildpackage: (Use -d flag to override.)
server1:/usr/src/ffmpeg-0.cvs20060823#

Если вы видите что-то подобное, то просто доставьте недостающие пакеты

apt-get install debhelper quilt libogg-dev libvorbis-dev liba52-dev libdts-dev zlib1g-dev libsdl1.2-dev libfreetype6-dev libimlib2-dev texi2html libraw1394-dev libdc1394-13-dev libtheora-dev libgsm1-dev

и запустите dpkg-buildpackage снова

dpkg-buildpackage

Процесс создания нового пакета займет некоторое время, а результатом его будут *.deb-файлы в директории /usr/src. Установим их командой

cd ..
dpkg -i *.deb

Устанавливаем flvtool2
При перекодировке видео неплохо было добавить некоторые метаданные в конечные файлы, например информацию о длительности, чтобы наш плеер смог корректно показывать счетчик времени. Для этого воспользуемся утилитой flvtool2. Она написана на Ruby, поэтому сначала установим его

apt-get install ruby

Затем скачаем и установим flvtool2

cd /tmp
wget http://rubyforge.org/frs/download.php/17497/flvtool2-1.0.6.tgz
tar xvfz flvtool2-1.0.6.tgz
cd flvtool2-1.0.6
ruby setup.rb config
ruby setup.rb setup
ruby setup.rb install

Подгототавливаем директории для видео
Корневой директорией для Лайти в нашем случае является /var/www (по умолчанию в Debian так и есть). Конечно же мы не хотим хранить оригинальные и сконвертированные видеофайлы в этой директории, иначе их смогут скачать все, кто захочет (зная прямую ссылку). Поэтому директорию с оригинальными видео (/var/videos/incoming) и сконвертированными (/var/videos/flv) мы расположим вне DocumentRoot

mkdir -p /var/videos/incoming
mkdir -p /var/videos/flv

Вы (или ваши пользователи) смогут загружать файлы в /var/videos/incoming через FTP или WEB-интерфейс, а вы будете их перекодировать (вручную или автоматически) в FLV-формат и хранить в /var/videos/flv

Перекодирование видео
Предположим, что у нас есть файл video.avi в директории /var/videos/incoming (или .mp4 .mov .mpg .3gp .mpeg .wmv). Мы хотим сконвертировать его в fideo.flv и сохранить в /var/videos/flv. Разрешение конечного файла должно быть 320×240, звук 44100 Hz и частота кадров 12 fps

ffmpeg -i /var/videos/incoming/video.avi -s 320×240 -ar 44100 -r 12 /var/videos/flv/video.flv

(для дополнительной информации рекомендую обратиться к man ffmpeg). Это займет некоторое время, а вывод будет похож на

server1:~# ffmpeg -i /var/videos/incoming/video.avi -s 320x240 -ar 44100 -r 12 /var/videos/flv/video.flv
FFmpeg version SVN-rUNKNOWN, Copyright (c) 2000-2004 Fabrice Bellard
  configuration:  --enable-gpl --enable-pp --enable-pthreads --enable-mp3lame --enable-vorbis --enable-libogg
 --enable-a52 --enable-dts --enable-libgsm --enable-dc1394 --disable-debug --enable-shared --prefix=/usr
  libavutil version: 0d.49.0.0
  libavcodec version: 0d.51.11.0
  libavformat version: 0d.50.5.0
  built on Aug 14 2007 15:02:25, gcc: 4.1.2 20061115 (prerelease) (Debian 4.1.1-21)
Input #0, avi, from '/var/videos/incoming/video.avi':
  Duration: 00:10:53.8, start: 0.000000, bitrate: 5455 kb/s
  Stream #0.0: Video: mpeg4, yuv420p, 1024x576, 24.00 fps(r)
  Stream #0.1: Audio: ac3, 48000 Hz, 5:1, 448 kb/s
Output #0, flv, to '/var/videos/flv/video.flv':
  Stream #0.0: Video: flv, yuv420p, 320x240, q=2-31, 200 kb/s, 12.00 fps(c)
  Stream #0.1: Audio: mp3, 44100 Hz, stereo, 64 kb/s
Stream mapping:
  Stream #0.0 -> #0.0
  Stream #0.1 -> #0.1
No accelerated IMDCT transform found
Press [q] to stop encoding
frame= 7847 q=2.0 Lsize=   21682kB time=653.8 bitrate= 271.7kbits/s
video:16061kB audio:5108kB global headers:0kB muxing overhead 2.427536%
server1:~#

Обратите особое внимание на секцию Output – там должно быть два потока: видео и аудио. Если вы видите там только видеопоток, то значит какие-то проблемы с аудиокодированием, внимательно проверьте наши инструкции по подключению LAME
После кодирования добавим метаданные

cat /var/videos/flv/video.flv | flvtool2 -U stdin /var/videos/flv/video.flv

Настройка Lighttpd
Теперь приступим к настройке Лайти. Откроем главный конфигурационный файл /etc/lighttpd/lighttpd.conf активируем в нем модули mod_secdownload и mod_flv_streaming. Обратите внимание: крайне важно, чтобы модуль mod_secdownload шел перед модулем mod_flv_streaming в секции server.modules. В обратном случае будут проблемы с отображением видео FlowPlayer’ом

[...]
server.modules              = (
            "mod_access",
            "mod_alias",
            "mod_accesslog",
            "mod_fastcgi",
#           "mod_rewrite",
#           "mod_redirect",
#           "mod_status",
#           "mod_evhost",
#           "mod_compress",
#           "mod_usertrack",
#           "mod_rrdtool",
#           "mod_webdav",
#           "mod_expire",
            "mod_secdownload",
            "mod_flv_streaming",
#           "mod_evasive"
 )
[...]

Также добавьте в конец конфига следующие строки

[...]
flv-streaming.extensions = ( ".flv" )
secdownload.secret          = "somesecret"
secdownload.document-root   = "/var/videos/flv/"
secdownload.uri-prefix      = "/dl/"
secdownload.timeout         = 120

Не забудьте заменить somesecret на реальную парольную фразу
Как работает mod_secdownload:
На web-странице расположена ссылка примерно следующего вида:
<uri-prefix>/<token>/<timestamp-in-hex>/<rel-path> (например: /dl/d8a8cb150f7e5962f6a8443b0b6c6cc2/46c1d9f6/video.flv)
Где <token> – это md5-хэш от

  • Секретной строки
  • <rel-path> (начинающегося с /)
  • <timestamp-in-hex>

    • mod_secdownload перенаправит эту ссылку на файл, расположенный в secdownload.document-root (который вне основного корня веб-сервера) и обеспечит доступ к нему в течении secdownload.timeout секунд. По истечении времени ссылка перестанет быть валидной и доступ будет закрыт.
    После установки FlowPalyer мы будем генерировать валидные сслыки для mod_secdownload при помощи PHP-скрипта. Дополнительную информацию по mod_secdownload можно получить здесь
    Не забудьте перезапустить Лайти

    /etc/init.d/lighttpd restart

    Установка FlowPlayer
    Скачайте последнюю версию плеера с http://flowplayer.org/download и приготовьте его к работе

    cd /tmp
    wget http://belnet.dl.sourceforge.net/sourceforge/flowplayer/flowplayer-1.19.zip
    unzip flowplayer-1.19.zip
    mv flowplayer /var/www/

    Настройка FlowPlayer
    Плеер установлен, теперь давайте создадим файл, с помощью которого можно будет посмотреть наше видео. В нашем примере это /var/www/flowplayertest.php, в котором расположены все параметры для запуска плеера и генерируются валидные ссылки для mod_secdownload

    <?php
$secret = "somesecret";
$uri_prefix = "/dl/";

# filename
$f = "/video.flv";

# current timestamp
$t = time();

$t_hex = sprintf("%08x", $t);
$m = md5($secret.$f.$t_hex);

?>

<object type="application/x-shockwave-flash" data="/flowplayer/FlowPlayerThermo.swf">
    width="320" height="256" id="FlowPlayer">
<param name="allowScriptAccess" value="sameDomain"></param>
<param name="movie" value="/flowplayer/FlowPlayerThermo.swf"></param>
<param name="quality" value="high"></param>
<param name="scale" value="noScale"></param>
<param name="allowFullScreen" value="true"></param>
<param name="flashvars" value="config={videoFile: '<?php printf('%s%s/%s%s', $uri_prefix, $m, $t_hex, $f, $f); ?>', streamingServer: 'lighttpd', loop: 'false', useNativeFullScreen: true}"></param>
</object>

    Не забудьте позаботиться о том, чтобы переменная $secret совпадала со значением, указанным в конфиге Лайти. Также должны совпадать $uri_prefix и secdownload.uri-prefix. Если все верно, то ссылки точно будут рабочими. В переменной $f содержится имя видеофайла, начинающееся со слеша (“/”). В нашем примере имя “жестко” зашито в код, но вы можете получать его из БД, например.
    В тэгах <object></object> содержатся конфигурационные параметры для FlowPlayer. Плеер может использовать разные скины (в нашем примере это FlowPlayerThermo), видео имеет размер 320×240 и панель управления имеет высоту 16px. Пожтому мы указали ширину равной 320px и высоту (240+16) 256px. Если вы используете другой скин, поправьте эти параметры. За документацией по FlowPlayer обращайтесь на официальный сайт
    В параметре <param name="flashvars"... содержатся настройки окружения плеера. Важным параметром является videoFile – это ссылка на файл, которую генерирует наш скрипт. Другая важная опция – это streamingServer: 'lighttpd', которая указывает, что для потоковой трансляции файла мы используем mod_flv_streaming Остальные опции (loop, useNativeFullScreen) являются необязательными. Например, если вы установите опцию useNativeFullScreen в true (это поддержка нативного полноэкранного режима для Flash Player 9), то вы должны включить в object строку <param name=”allowFullScreen” value=”true” /> и не можете использовать <param name=”wmode” value=”transparent” />
    За дополнительными настройками FlowPlayer обратитесь к документации

    Проверим?
    Зайдем браузером на http://192.168.0.100/flowplayertest.php – видео должно работать (со звуком)
    2.png
    И даже в полноэкранном режиме
    3.png
    Enjoy.

    Оригинал: http://howtoforge.org/video_streaming_lighttpd_flowplayer

]]> http://boombick.org/blog/posts/72/feed 13 Построение отказоустойчивого балансировщика нагрузки на базе Perlbal/Heartbeat http://boombick.org/blog/posts/48 http://boombick.org/blog/posts/48#comments Tue, 27 Jan 2009 09:32:37 +0000 boombick http://boombick.org/blog/posts/48 В этой статье описывается процесс настройки отказоустойчивого двухузлового балансировщика нагрузки с активной/пассивной конфигурацией, поддержкой сессий и механизма Failover на базе Perlbal/Heartbeat под управлением Debian. Балансировщик работает между конечным пользователем и двумя backend-серверами, которые отдают некий контент. (В нашем примере это два сервера с установленным Apache). Балансировщик не только проксирует запросы к бэкэнду, он еще и проверяет состояние бэкэнда и, в случае отказа, перенаправляет запросы к другому серверу (failover). Вдобавок, ведется постоянный мониторинг бэкэнд-серверов при помощи Heartbeat и, если master-сервер “лежит”, то slave автоматически становится мастером. Ваши пользователи не заметят сбоев в работе сервиса. Perlbal поддерживает механизм сессий, так что вы можете использовать ПО, завязанное на них (например форумы, онлайн-магазины etc)

Наша конфигурация
Мы используем следующую конфигурацию:

  • Узел балансировки 1: lb1.example.com, IP адрес: 192.168.0.100
  • Узел балансировки 2: lb3.example.com, IP адрес: 192.168.0.101
  • Web-сервер 1: http1.example.com, IP адрес: 192.168.0.102
  • Web-сервер 2: http3.example.com, IP адрес: 192.168.0.103
  • Также нам понадобится виртуальный IP, который будет объединять узлы балансировки: 192.168.0.99

Вот схематичное изображение нашего кусочка сети:

    shared IP=192.168.0.99
 192.168.0.100  192.168.0.101 192.168.0.102 192.168.0.103
 -------+------------+--------------+-----------+----------
        |            |              |           |
     +--+--+      +--+--+      +----+----+ +----+----+
     | lb1 |      | lb2 |      |  http1  | |  http2  |
     +-----+      +-----+      +---------+ +---------+
     Perlbal      Perlbal      2 web servers (Apache)
     heartbeat    heartbeat

Общий (виртуальный) IP-адрес не является проблемой, если вы сами являетесь администратором своей сети и можете самостоятельно выделять IP-адреса. Если же вы используете публичные адреса, то вам придется найти хостера, который даст вам два сервера (узлы балансировки) в одной подсети. Для общего IP вы можете использовать свободный адрес из той же подсети.
http1 и http2 – это “стандартные” сервера с Debian Etch и установленным Apache. (Конфигурация по умолчанию расположена в /etc/apache2/sites-available/default. Будьте внимательны, если вы используете другие пути, не забывайте делать на это поправку)

Подготовка бэкэнда
Мы сконфигурируем Perlbal как прозрачный прокси. Т.е. он будет транслировать запросы к бэкэнд-серверам, сохраняя оригинальный адрес клиента в заголовке X-Forwarded-For Конечно же, мы хотим видеть в логах оригинальные адреса, а не IP наших балансировочных узлов. Поэтому немного поправим конфигурацию логов Apache. Отредактируем файл /etc/apache2/apache2.conf
http1/http2:

[...]
#LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
[...]

Затем перезапустим Apache

/etc/init.d/apache2 restart

И на этом настройка бэкэндов закончена. Перейдем к балансировочным узлам.

Установка Perlbal
На момент написания статьи, perlbal не был доступен в репозиториях Debian, поэтому выполним его установку вручную.
Сначала установим необходимые зависимости:

lb1/lb2:

apt-get install build-essential unzip lynx ncftp perl

Затем запустим оболочку Perl

perl -MCPAN -e shell

И выполним в ней три команды

force install HTTP::Date
install IO::AIO
force install Perlbal

Perlbal установлен. Нажмите q для выхода из оболочки Perl

Настройка узлов балансировки
Конфигурационный файл Perlbal находится в /etc/perlbal/perlbal.conf, но его еще надо создать :) Создаем директорию и файл, и помещаем туда следующие строки:

CREATE POOL webfarm
  POOL webfarm ADD 192.168.0.102:80
  POOL webfarm ADD 192.168.0.103:80

CREATE SERVICE balancer
  SET listen          = 192.168.0.99:80
  SET role            = reverse_proxy
  SET pool            = webfarm
  SET persist_client  = on
  SET persist_backend = on
  SET verify_backend  = on
ENABLE balancer

Вероятно, вы захотите узнать больше об опциях конфигурации Perlbal. Лучший способ это сделать – скачать последнюю версию с http://code.google.com/p/perlbal/downloads/list, распоковать архив и обратить внимание на поддиректории conf/ и doc/. Там вы найдете описание параметров и различные примеры конфигурации.

Настройка Heartbeat
Мы настроили Perlbal на прослушивание нашего виртуального IP 192.168.0.99, но кто-то должен “сообщить” узлам балансировки, что они также должны слушать этот IP. Это сделает Heartbeat. Установим его:
lb1/lb2:

apt-get install heartbeat

Для того, чтобы разрешить Perlbal слушать IP, мы должны добавить в /etc/sysctl.conf следующую строчку:

[...]
net.ipv4.ip_nonlocal_bind=1

И выполнить команду

sysctl -p

Теперь создадим три конфигурационных файла для Heartbeat: /etc/ha.d/authkeys, /etc/ha.d/ha.cf, и /etc/ha.d/haresources./etc/ha.d/authkeys и /etc/ha.d/haresources должны быть одинаковыми на lb1 и lb2, а /etc/ha.d/ha.cf отличается всего одной строчкой!

vi /etc/ha.d/authkeys

auth 3
3 md5 somerandomstring

somerandomstring – это пароль, который используется heartbeat на lb1 и lb2 для взаимной аутентификации. Задайте ваш собственный пароль. Вы можете использовать три различных механизма шифрования, в данном примере используется md5

/etc/ha.d/authkeys должен быть доступен для чтения только пользователю root
lb1/lb2:

chmod 600 /etc/ha.d/authkeys

lb1:

vi /etc/ha.d/ha.cf

#
#       keepalive: how many seconds between heartbeats
#
keepalive 2
#
#       deadtime: seconds-to-declare-host-dead
#
deadtime 10
#
#       What UDP port to use for udp or ppp-udp communication?
#
udpport        694
bcast  eth0
mcast eth0 225.0.0.1 694 1 0
ucast eth0 192.168.0.101
#       What interfaces to heartbeat over?
udp     eth0
#
#       Facility to use for syslog()/logger (alternative to log/debugfile)
#
logfacility     local0
#
#       Tell what machines are in the cluster
#       node    nodename ...    -- must match uname -n
node    lb1.example.com
node    lb2.example.com

ВАЖНО: В качестве имен узлов (nodenames) используется вывод команды

uname -n

на обоих узлах балансировки.
Опции udpport, bcast, mcast, и ucast определяют способы коммуникации между узлами и задают параметры определения состояния узла. Вы можете оставить значения udpport, bcast и mcast такими же, как в примере, но опция ucast очень важна. В ней задается адрес второго узла балансировщика. В нашем примере это 192.168.0.101 (lb2.example.com)

На lb2 все точно также, за исключением опции ucast, значением для которой должен выступать адрес lb1
lb2:

vi /etc/ha.d/ha.cf

#
#       keepalive: how many seconds between heartbeats
#
keepalive 2
#
#       deadtime: seconds-to-declare-host-dead
#
deadtime 10
#
#       What UDP port to use for udp or ppp-udp communication?
#
udpport        694
bcast  eth0
mcast eth0 225.0.0.1 694 1 0
ucast eth0 192.168.0.100
#       What interfaces to heartbeat over?
udp     eth0
#
#       Facility to use for syslog()/logger (alternative to log/debugfile)
#
logfacility     local0
#
#       Tell what machines are in the cluster
#       node    nodename ...    -- must match uname -n
node    lb1.example.com
node    lb2.example.com

lb1/lb2:

vi /etc/ha.d/haresources

lb1.example.com 192.168.0.99

Первый параметр – это вывод

uname -n

Не имеет значения на каком узле вы создадите этот файл. Он указывает на виртуальный IP 192.168.0.99
Теперь запустим Heartbeat на обоих узлах

/etc/init.d/heartbeat start

Затем выполняем
lb1:

ip addr sh eth0

Мы должны увидеть, что хост lb1 слушает наш виртуальный IP

lb1:~# ip addr sh eth0
2: eth0:  mtu 1500 qdisc pfifo_fast qlen 1000
    link/ether 00:0c:29:a5:5b:93 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.100/24 brd 192.168.0.255 scope global eth0
    inet 192.168.0.99/24 brd 192.168.0.255 scope global secondary eth0:0
    inet6 fe80::20c:29ff:fea5:5b93/64 scope link
       valid_lft forever preferred_lft forever
lb1:~#

Это можно проверить, выполнив команду ifconfig

lb1:~# ifconfig
eth0      Link encap:Ethernet  HWaddr 00:0C:29:A5:5B:93
          inet addr:192.168.0.100  Bcast:192.168.0.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fea5:5b93/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:63983 errors:0 dropped:0 overruns:0 frame:0
          TX packets:31480 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:92604963 (88.3 MiB)  TX bytes:2689903 (2.5 MiB)
          Interrupt:177 Base address:0x1400

eth0:0    Link encap:Ethernet  HWaddr 00:0C:29:A5:5B:93
          inet addr:192.168.0.99  Bcast:192.168.0.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          Interrupt:177 Base address:0x1400

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:56 errors:0 dropped:0 overruns:0 frame:0
          TX packets:56 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:3888 (3.7 KiB)  TX bytes:3888 (3.7 KiB)

lb1:~#

lb2 – это пассивный балансировочный узел. Он не должен слушать виртуальный IP, пока lb1 “жив”. Проверим это:
lb2:

ip addr sh eth0

Вывод должен быть примерно таким:

lb2:~# ip addr sh eth0
2: eth0:  mtu 1500 qdisc pfifo_fast qlen 1000
    link/ether 00:0c:29:e0:78:92 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.101/24 brd 192.168.0.255 scope global eth0
    inet6 fe80::20c:29ff:fee0:7892/64 scope link
       valid_lft forever preferred_lft forever
lb2:~#

ifconfig

не должен показать виртуальный IP

eth0      Link encap:Ethernet  HWaddr 00:0C:29:E0:78:92
          inet addr:192.168.0.101  Bcast:192.168.0.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fee0:7892/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:75127 errors:0 dropped:0 overruns:0 frame:0
          TX packets:42144 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:109669197 (104.5 MiB)  TX bytes:3393369 (3.2 MiB)
          Interrupt:169 Base address:0x1400

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:56 errors:0 dropped:0 overruns:0 frame:0
          TX packets:56 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:3888 (3.7 KiB)  TX bytes:3888 (3.7 KiB)

lb2:~#

Запускаем Perlbal
lb1/lb2:

perlbal –daemon

Конечно же, нам не хочется каждый раз запускать демон руками. Поэтому пропишем его автоматический запуск в /etc/rc.local

#!/bin/sh -e
#
# rc.local
#
# This script is executed at the end of each multiuser runlevel.
# Make sure that the script will "exit 0" on success or any other
# value on error.
#
# In order to enable or disable this script just change the execution
# bits.
#
# By default this script does nothing.

/usr/local/bin/perlbal --daemon
exit 0

Для остановки демона выполните команду

killall perlbal

Тестируем
Наш балансировочный узел настроен, запущен и готов к работе.
Вы можете выполнять HTTP-запросы к виртуальному IP 192.168.0.99 (или к тому адресу или доменному имени, с которым работаете вы) и в ответ будете получать контент с бэкэнд-серверов.
Для проверки отказоустойчивости и механизма failover остановите один из бэкэнд-серверов. Все запросы автоматически будут транслироваться к оставшемуся. Попробуйте остановить master-узел балансировщика (lb1), узел lb2 сразу возьмет на себя роль активного узла. вы можете проверить это, выполнив
lb2:

ip addr sh eth0

Теперь в этом выводе присутствует виртуальный адрес:

lb2:~# ip addr sh eth0
2: eth0:  mtu 1500 qdisc pfifo_fast qlen 1000
    link/ether 00:0c:29:e0:78:92 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.101/24 brd 192.168.0.255 scope global eth0
    inet 192.168.0.99/24 brd 192.168.0.255 scope global secondary eth0:0
    inet6 fe80::20c:29ff:fee0:7892/64 scope link
       valid_lft forever preferred_lft forever
lb2:~#

Как только узел lb1 будет вновь запущен, он опять будет выполнять функции master-узла.

Поддержка виртуальных хостов в Perlbal
Perlbal поддерживает виртуальные хосты. Допустим, мы хотим чтобы все запросы на *.site.com обслуживались узлами с адресами 192.168.0.102 и 192.168.0.103, а запросы на *.example.com узлами с адресами 192.168.0.104 и 192.168.0.105. Вот как это будет выглядеть в конфиге /etc/perlbal/perlbal.conf

LOAD vhosts

CREATE POOL webfarm1
  POOL webfarm1 ADD 192.168.0.102:80
  POOL webfarm1 ADD 192.168.0.103:80

CREATE SERVICE balancer1
  SET role            = reverse_proxy
  SET pool            = webfarm1
  SET persist_client  = on
  SET persist_backend = on
  SET verify_backend  = on
ENABLE balancer1

CREATE POOL webfarm2
  POOL webfarm2 ADD 192.168.0.104:80
  POOL webfarm2 ADD 192.168.0.105:80

CREATE SERVICE balancer2
  SET role            = reverse_proxy
  SET pool            = webfarm2
  SET persist_client  = on
  SET persist_backend = on
  SET verify_backend  = on
ENABLE balancer2

CREATE SERVICE vdemo
  SET listen         = 192.168.0.99:80
  SET role           = selector
  SET plugins        = vhosts
  SET persist_client = on

  VHOST *.site.com     = balancer1
  VHOST *.example.com  = balancer2
ENABLE vdemo

Have a lot fun!

Оригинал: http://howtoforge.org/setting-up-a-high-availability-load-balancer-with-perlbal-heartbeat-on-debian-etch

]]> http://boombick.org/blog/posts/48/feed 5 Интеграция APC (Alternative PHP Cache) с PHP5 и lighttpd http://boombick.org/blog/posts/44 http://boombick.org/blog/posts/44#comments Mon, 26 Jan 2009 20:23:11 +0000 boombick http://boombick.org/blog/posts/44 Эта статья описывает установку и настройку APC для PHP5 и lighttpd, работающих на Debian Etch. APC – это свободная и бесплатная система кэширования и оптимизации байт-кода PHP. Похожие системы – это, например, eAccelerator и XCache

Установка проводилась на Debian Etch с IP-адресом 192.168.0.100. Подразумевается, PHP и lighttpd уже установлены и настроены. Я использовал домашнюю директорию lighttpd по умолчанию (/var/www), но вы можете использовать любой виртуальный хост :) Правда, в этом случае, путь к info.php придется скорректировать в соответствии с настройками вашего сервера.

Начнем
Перед установкой APC, мы посмотрим на конфигурацию PHP. Для этого мы создадим файл info.php в домашней директории Лайти (/var/www в нашем примере):

vim /var/www/info.php

Со следующим содержанием:

<?php
phpinfo();
?>

И вызовем его через браузер, у нас он находится по адресу http://192.168.0.100/info.php:
1.png
Как мы видим, у нас установлен PHP версии 5.2.0… Но APC нет :(
2.png

Установка APC
APC – это расширение для PHP, доступное через PECL. PECL можно установить через php-pear, поэтому сначала давайте установим pear:

apt-get install php-pear

Кроме того, мы должны установить некоторые зависимости APC, чтобы PECL смог его собрать

apt-get install php5-dev build-essential

Ну вот и все, зависимости установлены, ставим APC

pecl install apc

Нюанс: на следующий вопрос ответьте “Нет” (No):

[...]
Use apxs to set compile flags (if using APC with Apache)? [yes] : <– no
[...]

Теперь, когда APC установлен, создадим конфигурационный файл /etc/php5/cgi/conf.d/apc.ini Единственно необходимая опция – это, собственно, активация самого APC: extension=apc.so Остальные опции являются необязательными, подробнее можно прочитать на http://php.net/manual/en/ref.apc.php

vim /etc/php5/cgi/conf.d/apc.ini

extension=apc.so
apc.enabled=1
apc.shm_size=30

Это все :) Давайте снова зайдем на нашу информационную страничку (http://192.168.0.100/info.php) и убедимся, что APC работает
3.png

Оригинал: http://howtoforge.org/integrating-apc-into-php5-and-lighttpd-debian-etch

]]> http://boombick.org/blog/posts/44/feed 8