Centos6.3下利用rsyslog+loganalyzer+mysql部署日志服务器
作为一名系统运维工程师,平时查看分析LINUX系统日志我觉得是我们每天必做的功课,但时间长了会发现每次查看站点日志都得挨个进后台,几台服务器还可以这么对付,但如果管理成百上千台线上服务器,这种方法就捉襟见肘了。
后来想了想能不能有一台日志服务器集中管理日志,并以WEB形式将日志显示到前台方便查看,顿时码字的想法油然而生,呵呵。
本人有一个习惯,那就是会把群里或者网上看到的圈内比较认可的LINUX系统软件先保存在备忘录,等闲下来研究研究,刚好前段时间有位朋友提到rsyslog+loganalyzer集中管理日志,所以今天刚好就抽空研究了下,过程虽有曲折(网上的文档各种坑跌),最后还是利用一天时间搞定,将自己的理解分享给搭建,仅供参考。
本文档是利用rsyslog+loganalyzer+mysql将网内所有LINUX服务器的系统日志集中到日志服务器进行管理,所有日志会保存在mysql数据库表中
注:loganalyzer在获取客户端日志会有两种保存模式,一种是直接读取客户端/var/log/目录下的日志并保存到服务端该目录下,一种是读取后保存到日志服务器数据库中,本文档推荐后者
解决方案:
一.环境部署
操作系统: centos6.3 x64
rsyslog: 系统默认yum源
loganalyzer: loganalyzer-3.6.3
LAMP: httpd-2.4.4,mysql-5.6.10,php-5.4.13
rsyslog server: 192.168.7.201 lamp.example.com
rsyslog client: 192.168.7.74 www2.example.com
1.安装LAMP环境
本博传送门:http://www.showerlee.com/archives/6
2.关闭iptables和SELINUX
# service iptables stop
注:这里若要开启iptables服务增加系统安全性
服务端需添加rsyslog UDP 514端口以及loganalyzer TCP 80端口通过规则
# iptables -A INPUT -p udp --dport 514 -j ACCEPT
# iptables -P OUTPUT ACCEPT
# iptables -A INPUT -p TCP --dport 80 -j ACCEPT
客户端只需添加OUTPUT通过规则
# iptables -P OUTPUT ACCEPT
从规则可见,rsyslog server端为被动获取数据,client端为主动发送数据
关闭iptables的朋友可以无视。。
# setenforce 0
# vi /etc/sysconfig/selinux
---------------
SELINUX=disabled
---------------
3.同步时间
# ntpdate asia.pool.ntp.org
二.安装配置rsyslog
(rsyslog server)
# yum install rsyslog rsyslog-mysql -y
注:rsyslog-mysql为rsyslog将日志传送到mysql数据库的一个模块,这里必须安装
# cd /usr/share/doc/rsyslog-mysql-5.8.10/
# mysql -uroot -p123456 < createDB.sql
注:这里导入数据库操作其实博主最后研究了下,就是创建了Syslog库并在该库中创建了两张空表
创建rsyslog用户在mysql下的相关权限
# mysql -uroot -p123456
> grant all privileges on Syslog.* to rsyslog@localhost identified by "123456";
> flush privileges;
> exit
配置服务端支持rsyslog-mysql模块,并开启UDP服务端口获取网内其他LINUX系统日志
# vi /etc/rsyslog.conf
在#### MODULES ####下添加这两行
------------------
$ModLoad ommysql.so
*.*:ommysql:localhost,Syslog,rsyslog,123456
------------------
注:localhost表示本地主机,Syslog为数据库名,rsyslog为数据库的用户,123456为该用户密码
取消下面三行注释
-----------------
$ModLoad immark
$ModLoad imudp
$UDPServerRun 514
-----------------
重启服务:
# service rsyslog restart
(rsyslog client)
# yum install rsyslog -y
配置rsyslog客户端发送本地日志到服务端
# vi /etc/rsyslog.conf
末行添加如下内容
-------------------
*.* @192.168.7.201
-------------------
注:192.168.7.201 为日志服务器端IP地址
重启服务:
# service rsyslog restart
三.安装loganalyzer
# wget http://download.adiscon.com/loganalyzer/loganalyzer-3.6.3.tar.gz
# tar zxvf loganalyzer-3.6.3.tar.gz
# cd loganalyzer-3.6.3
# mkdir -p /usr/local/apache2/htdocs/loganalyzer
复制loganalyzer源代码到apache的DocumentRoot下loganalyzer目录
# cp -r src/* /usr/local/apache2/htdocs/loganalyzer
# cp -r contrib/* /usr/local/apache2/htdocs/loganalyzer
# chown -R daemon.daemon /usr/local/apache2/htdocs/loganalyzer
通过web向导安装loganalyzer前,必须先执行以下两个脚本
# cd /usr/local/apache2/htdocs/loganalyzer/
# sh configure.sh
# sh secure.sh
注:该脚本实际上是创建该目录下的config.php,并配置该文件权限。
在浏览器输入网址,进入安装向导
http://192.168.7.201/loganalyzer
1.提示没有配置文件,点击here利用向导生成
2.NEXT
3.按照如图输入配置,点击NEXT:
注:点击NEXT时若报错,后台执行如下命令后继续
# ln -s /var/lib/mysql/mysql.sock /tmp/mysql.sock
4.开始写入数据库,NEXT
5.提示写入成功,NEXT
6.设置管理员账户,配置完毕NEXT
7.设置监控日志保存到mysql数据库中,按照如图配置后NEXT
8.完成配置,FINISH
9.进入登陆界面:
10.进入主界面:
查看loganalyzer是否获取192.168.7.201和192.168.7.74系统日志
利用navicat查看rsyslog服务端和客户端系统日志是否都写入数据库Syslog-SystemEvents表
---------- 大功告成------------
后记:
1.本人在loganalyzer安装向导配置的web后台账户,在登陆界面无法登陆,提示账号或密码错误,不知道是什么原因?最后是在向导一处去掉登陆认证才勉强通过,有遇到相同问题的朋友望帮忙解答。
经过一位朋友指点,终于找到了原因
首先利用以下命令守株待兔
# tail -f /usr/local/mysql/log/mysql.log
然后在loganalyzer向导STEP6输入web后台账号密码后,点击NEXT
查看到mysql.log日志里出现了一条INSERT语句
然后将该语句复制到后台手动执行,看报什么错误
# mysql -uroot -p123456;
> INSERT INTO logcon_users (username, password, is_admin) VALUES ('admin', '00a1f187721cxxxxxxx6bf791e69382c', 1);
ERROR 1364 (HY000): Field 'last_login' doesn't have a default value
提示'last_login'栏不能为空值
OK,直接登录navicat,将这栏设置为允许空值保存即可
从新执行这条语句
> INSERT INTO logcon_users (username, password, is_admin) VALUES ('admin', '00a1f187721cxxxxxxx6bf791e69382c', 1);
Query OK, 1 row affected (0.06 sec)
显示执行成功
利用navicat 查看后台该表,显示成功插入一条记录
重新利用该账号即可成功登录loganalyzer web后台
看来是mysql在执行该语句时,发现last_login栏默认为非空,所以拒绝这条insert语句执行,解决办法就是将该栏设置为允许空值即可
博主在线上老版本mysql-5.0.56无需进行上述手动操作,即可成功登录后台
但本篇出现的问题则是在mysql-5.6.10版本上
看来这应该不算是loganalyzer的BUG,应该是mysql在高版本执行insert语句提高了严谨性
这里给卡在这里的朋友点思路,仅供参考。
在此感谢longeleven11朋友的提点。。。。
2.安装rsyslog可谓是过程曲折,之前本想全部编译安装,最后才发现网上的文档各种误导,编译rsyslog最后花了2个小时安装了其6个依赖包,全部找的老外的文档挨个测试,装完网上给出的文档又不能合理给出如何与系统自带的rsyslog共存保证不冲突,也就是编译的rsyslog的启动方法如何与系统自带的区别,索性就yum吧,实属无奈之举,还有吐槽下google各种间歇性抽风,至于原因,大家都懂的。。。
3.Windows客户端安装(win2008 server 64bit)
1.下载evtsys
http://eventlog-to-syslog.googlecode.com/files/Evtsys_4.4.3_64-Bit.zip
2.解压文件将包内64-Bit文件夹下的所有文件复制C:\Windows\System32下
3.开启evtsys服务
运行- cmd
> cd c:\Windows\System32
> evtsys -i -s 10 -h 192.168.7.11 -p 514
> net start evtsys
4.验证效果
如图:
本文链接:http://www.showerlee.com/archives/465
能不能用监控软件来做监控,比如cacti?
另外,网络设备怎么在linux上实现日志监控?
@pozhenzi 如果想实现实时监控,可以推荐使用zabbix,这款软件很强大,是cacti和nagios的合体,支持网络设备监控,你可以了解一下
我的博客也有相关文档: http://www.showerlee.com/archives/13
想请教博主,该如何实现对特定类型日志的收集呢,corn.info这一类的日志收集来没什么用处,我试着在被监控端的syslog.conf中配置,但是没有成功,不知博主可有经验指点一二呢,非常感谢!
@Mr.Coin 主要看你具体想收集什么类型的日志,一般loganalyzer会将rsyslog下面默认的一些系统级别日志收集起来,我觉得应该够用了,如果你想添加一些第三方软件的日志,可以参考rsyslog配置文件格式进行添加,然后重启rsyslog试试.
我一般用loganalyzer就是看看系统级别日志,第三方的软件监控会配合zabbix进行实时邮件告警.
你好,我配置是http://192.168.1.5/install.php,一步步的执行,不过执行到第四步时就直接跳到第七步了,怎么回事儿?
最后提示安装成功,可是登陆就是白屏
@leeforget 确定你的mysql没问题,然后就是在第三步要选中使用mysql保存日志,并且填好相关mysql配置信息
No syslog records found – Error Details:
No syslog records found
我的是报这个错的
我已经配置好了监控呢,那如何分组,按服务器IP或者组进行日志统计