本文最后更新于 2020 年 3 月 13 日,文章已超过 6 个月!内容可能已失效,请自行测试 ~

Haproxy是目前比较流行的一种集群调度工具,同类的调度工具有很多,如LVS和Nginx,相比较而言,LVS性能最好,但是搭建相对复杂,Nginx的upstream模块支持集群功能,但是对集群节点健康检查功能不强,性能没有Haproxy好。

Haproxy官方网站是: http://haproxy.1wt.eu

知识点回顾:
通过URL方式访问网站使用的协议是HTTP协议,这一类的请求通常称为HTTP请求
HTTP的请求方式:get 和 post(较安全,URL中不显示提交的数据)
当浏览器访问一个URL,URL会返回一个状态码,URL的返回状态码: (正确)2xx 3xx (如200、301),(异常)4XX 5XX(400、500)

负载均衡的常用调度算法。

1)RR(Round Robin) 即轮询调度算法。有ABC三个节点
1 –> A
2 –> B
3 –> C
4 –> A

此外,加权轮询调度算法 WRR。根据每个节点的权重轮询分配访问请求。

2)LC(Least Connection) 最少连接数算法。有ABC三个节点
A:4 B:5 C:6 1 –> A
A:5 B:5 C:6 2 –> A
A:6 B:5 C:6 3 –> B
A:6 B:6 C:6 4 –> A
A:7 B:6 C:6 5 –> B
A:7 B:7 C:6 6 –> C
A:7 B:7 C:7
实际情况下, A B C 连接数会动态的释放。

3) SH(Source Hashing).来源访问调度算法。 A B C
1 –> A
2 –> B
1 –> A
2 –> B

只要保证负载调度器不重启,第一个用户 –> A , 2 –> B 这种调度算法的好处是会实现会话保持。

WEB调度器软件:LVS Nginx Haproxy
WEB调度器硬件:F5 梭子鱼 绿盟

目标: Haproxy + Nginx搭建一套web集群

案例环境:

主机 操作系统 IP地址 主要的软件

Haproxy RHEL6.6 x86_64 192.168.200.211 haproxy-1.4.24.tar.gz
Nginx1 RHEL6.6 x86_64 192.168.200.213 nginx-1.6.2.tar.gz
Nginx2 RHEL6.6 x86_64 192.168.200.214 nginx-1.6.2.tar.gz

所有机器确保安装了如下软件包:

[root@localhost ~]# yum -y install gcc gcc-c++ make

1、在Nginx1/2上编译安装nginx服务器
1.1 首先搭建Nginx1

[root@localhost ~]# yum -y install pcre-devel zlib-devel
[root@localhost ~]# useradd -M -s /sbin/nologin  nginx
[root@localhost ~]# tar xf nginx-1.6.2.tar.gz -C /usr/src
[root@localhost ~]# cd /usr/src/nginx-1.6.2
[root@localhost nginx-1.6.2]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx && make && make install
[root@localhost nginx-1.6.2]# cd /usr/local/nginx/html/
[root@localhost html]# echo "server 192.168.200.213" > index.html
[root@localhost html]# /usr/local/nginx/sbin/nginx 
[root@localhost html]# netstat -anpt |grep nginx
tcp        0      0 0.0.0.0:80                  0.0.0.0:*                   LISTEN      4503/nginx  

1.2 搭建nginx2, 同nginx1搭建方式是一样的。
与1.1唯一不同的是:

[root@localhost html]# echo "server 192.168.200.214" > test.html

2 编译安装Haproxy

[root@localhost ~]# yum -y install pcre-devel bzip2-devel
[root@localhost ~]# tar xf haproxy-1.4.24.tar.gz -C /usr/src/
[root@localhost ~]# cd /usr/src/haproxy-1.4.24/
[root@localhost haproxy-1.4.24]# make TARGET=linux26 && make install

3 Haproxy服务器配置
3.1 建立haproxy的配置目录及文件

[root@localhost haproxy-1.4.24]# mkdir /etc/haproxy
[root@localhost haproxy-1.4.24]# cp examples/haproxy.cfg /etc/haproxy/

3.2 haproxy配置项的介绍
haproxy的配置文件通常分为三部分: global(全局配置部分) defaults(默认配置部分) listen(应用组件部分)

[root@localhost ~]# egrep -v "#|^$" /etc/haproxy/haproxy.cfg
global
 log 127.0.0.1 local0				#配置日志记录,local0为日志设备,默认存放到系统日志
 log 127.0.0.1 local1 notice		#notice为日志级别,通常有24个级别
 maxconn 4096						#最大连接数
 uid 99								#用户uid
 gid 99								#用户gid
 daemon								#守护进程模式
defaults
 log global 						#定义日志为global配置中的日志定义
 mode http   						#模式为http
 option httplog   					#采用http日志格式记录日志
 option dontlognull  				
 retries 3 							#检查节点服务器失败次数,连续达到三次失败,则认为节点不可用
 maxconn 2000						#最大连接数
 contimeout 5000  					#连接超时时间
 clitimeout 50000 					#客户端超时时间
 srvtimeout 50000 					#服务器超时时间
listen webcluster 0.0.0.0:80 		#定义一个webcluster的应用
 option httpchk GET /index.html     #检查服务器的index.html文件
 balance roundrobin 				#负载均衡器调度使用的算法
 server inst_1 192.168.200.213:80  check inter 2000 fall 3 		#定义在线节点
 server inst_1 192.168.200.214:80  check inter 2000 fall 3 		#定义备份节点


[root@localhost ~]# vim /etc/haproxy/haproxy.cfg
# this config needs haproxy-1.1.28 or haproxy-1.2.1

global
	log 127.0.0.1	local0
	log 127.0.0.1	local1 notice
	#log loghost	local0 info
	maxconn 4096
	#chroot /usr/share/haproxy
	uid 99
	gid 99
	daemon
	#debug
	#quiet

defaults
	log	global
	mode	http
	option	httplog
	option	dontlognull
	retries	3
	#redispatch
	maxconn	2000
	contimeout	5000
	clitimeout	50000
	srvtimeout	50000

listen	web-cluster 0.0.0.0:80
	option httpchk GET /index.html
	balance	roundrobin
	server	inst1 192.168.200.213:80 check inter 2000 fall 3
	server	inst2 192.168.200.214:80 check inter 2000 fall 3

3.3 创建自启动脚本

[root@localhost ~]# cp /usr/src/haproxy-1.4.24/examples/haproxy.init /etc/init.d/haproxy
[root@localhost ~]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
[root@localhost ~]# chmod +x /etc/init.d/haproxy 
[root@localhost ~]# /etc/init.d/haproxy start
Starting haproxy:                                          [确定]

3.4 测试:
用浏览器打开 http://192.168.200.211
再次打开一个新的浏览器再次访问 http://192.168.200.211

可以验证两次访问到的结果分别为:
server 192.168.200.213
server 192.168.200.214

/usr/local/nginx/sbin/nginx 启动服务
killall -s HUP nginx 重新加载服务
killall -s QUIT nginx 退出服务

4 Haproxy 日志
Haproxy 的日志默认输出到系统的syslog中,为了更好的管理Haproxy 的日志,在生产环境中一般单独定义出来。
4.1 修改Haproxy配置文件中关于日志配置选项,

[root@localhost ~]# head /etc/haproxy/haproxy.cfg 
# this config needs haproxy-1.1.28 or haproxy-1.2.1

global
	#log 127.0.0.1	local0 
	#log 127.0.0.1	local1 notice
	
	log /dev/log    local0 info
	log /dev/log	local0 notice
[root@localhost ~]# service haproxy restart
Shutting down haproxy:                                     [确定]
Starting haproxy:                                          [确定]

这两行配置放到global选项中,主要是将Haproxy的info和notice日志分别记录到不同的日志文件中

4.2 修改rsyslog配置
为了便于管理,将Haproxy相关的配置独立定义到haproxy.conf 并防盗/etc/rsyslog.d/ 下,rsyslog启动时会自动加载此目录下的所有配置文件。

[root@localhost ~]# touch /etc/rsyslog.d/haproxy.conf
[root@localhost ~]# vim /etc/rsyslog.d/haproxy.conf
if ($programname == 'haproxy' and $syslogserverity-text == 'info') then -/var/log/haproxy/haproxy-info.log
&~
if ($programname == 'haproxy' and $syslogserverity-text == 'notice') then -/var/log/haproxy/haproxy-notice.log
&~

将haproxy的info日志记录到/var/log/haproxy/haproxy-info.log中,将notice日志记录到/var/log/haproxy/haproxy-notice.log中,将notice日志记录到/var/log/haproxy/haproxy-notice
&~ 表示当写入到日志文件后,rsyslog停止处理这个信息,(rainerscript 脚本语言)

重启rsyslog服务

[root@localhost ~]# service rsyslog restart
关闭系统日志记录器:                                       [确定]
启动系统日志记录器:                                       [确定]

4.3 查看日志文件是否创建成功

[root@localhost ~]# ls -l  /var/log/haproxy/haproxy-info.log
[root@localhost ~]# ls -l /var/log/haproxy/haproxy-notice.log

Sep 20 23:39:26 localhost haproxy[2674]: 192.168.200.1:51629 [20/Sep/2015:23:38:27.256] web-cluster web-cluster/inst2 0/0/0/1/59740 200 1648 - - CD-- 0/0/0/0/0 0/0 "GET / HTTP/1.1"
Sep 20 23:40:06 localhost haproxy[2674]: 192.168.200.1:51693 [20/Sep/2015:23:39:34.423] web-cluster web-cluster/inst2 0/0/0/0/32120 200 580 - - ---- 1/1/1/1/0 0/0 "GET / HTTP/1.1"

5 haproxy 的参数优化

参数 参数说明 优化建议

maxconn 最大连接数 根据应用的实际使用情况进行调整,建议使用10240
daemon 守护进程模式 haproxy可以使用非守护进程模式启动,生产环境建议使用守护进程模式启动
nbproc 负载均衡的并发进程数 建议与当前服务器CPU核心数相等或其2倍
retries 重试次数 用于对集群节点的检查,节点多并发量大建议设置2-3,节点不多建议设置5-6
option http-server-close 主动关闭http请求选项 建议生产环境中使用,避免提么out时间设置过长导致http连接堆积
timeout http-keep-alive 长连接超时时间 支持连接超时时间,具体参考应用自身特点设置,可以设置10s
timeout http-request http请求超时时间 建议将此时间设置为5-10s,增加http连接释放速度
timeout client 客户端超时时间 访问量过大,节点响应慢,可以设置短些,建议设置为1min左右


该文章采用「CC 协议」,转载必须注明作者和本文链接.
分类: Linux