ELK搭建

ELK可以帮助我们解决哪些问题,为何而生

待解决的痛点:

  1. 大量不同种类的日志成为了运维人员的负担,不方便管理;

  2. 单个日志文件巨大,无法使用常用的文本工具分析,检索困难;

  3. 日志分布在多台不同的服务器上,业务一旦出现故障,需要一台台日志查询

为什么要做日志分析平台:

随着业务量的增长,每天业务服务器将会产生上亿条的日志,单个日志文件达到各个GB,

这时我们发现用Linux自带的工具,cat grep awk分析越来越力不从心了,而且除了服务器日志

还有程序报错日志,分布在不同的服务器,查阅繁琐;

以前不用ELK的做法:

最开始的项目都习惯用php的error_log函数来把日志写到log文件中,后来项目有了高可用的要求

我们进行了分布式部署web,这样我们还是用error_log函数这样的方式来记录log的话,那么就有N台

机子的的N个log目录,这个时候查找log起来非常麻烦,不知道问题用户出错log是在那一台服务器上的

后来把log直接写到数据库中去,这样做虽然解决了查找异常信息的便利性,但存在两个缺陷;

  1. log记录好多,表不够用,又得分库分表

  2. 连接db,如果是数据库异常,那边log就丢失了,那么为了解决log丢失的问题,那么还得将log写到本地,然后

    等db连接通了,再将log同步到db,这样的处理方法,感觉是越搞越复杂

MyAnswer博客
请先登录后发表评论
  • 最新评论
  • 总共0条评论