借助tcpdump统计http请求

有服务器方面的问题无法解决?点击这里寻求帮助。

这里所说的统计http请求,是指统计QPS(每秒请求数),统计前十条被访问最多的url。一般做这样的统计时,我们经常会使用网站访问日志来统计。当我们来到一个陌生的服务器环境,需要立即统计当前前十条被访问最多的url,来初步确定是否存在攻击行为,使用tcpdump则简单得多,因为我们不需要关心网站日志在哪,不需要考虑网站日志有没有开启之类的问题,直接用tcpdump捕捉当前的http包,再进一步过滤,就会得出我们想要的统计。此功能已集成到EZHTTP,下面是效果图:
http-tcpdump
下面介绍其统计方法。
1、捕捉10秒的数据包。

  1. tcpdump -i eth0 tcp[20:2]=0x4745 or tcp[20:2]=0x504f -w /tmp/tcp.cap -s 512 2>&1 &
  2. sleep 10
  3. kill `ps aux | grep tcpdump | grep -v grep | awk '{print $2}'`

此命令表示监控网卡eth0,捕捉tcp,且21-22字节字符为GE或者PO,表示匹配GET或者POST请求的数据包,并写到/tmp/tcp.cap文件。
2、这时候我们得到最新10秒的二进制数据包文件,我们下一步就是通过strings命令来找出GET/POST的url以及Host。

  1. strings /tmp/tcp.cap | grep -E "GET /|POST /|Host:" | grep --no-group-separator -B 1 "Host:" | grep --no-group-separator -A 1 -E "GET /|POST /" | awk '{url=$2;getline;host=$2;printf ("%s\n",host""url)}' > url.txt

此命令是本文的关键,通过strings显示二进制文件tcp.cap所有可打印字符,然后通过grep和awk过滤出http请求,并把拼接得到的url(包括域名+uri)写进一个文件url.txt。
3、这时我们拿到了近10秒钟所有的访问url,接下来的统计就容易得出,比如:
统计QPS:

  1. (( qps=$(wc -l /tmp/url.txt | cut -d' ' -f 1) / 10 ))

排除静态文件统计前10访问url:

  1. grep -v -i -E "\.(gif|png|jpg|jpeg|ico|js|swf|css)" /tmp/url.txt | sort | uniq -c | sort -nr | head -n 10

转载请保留原文链接:Linux运维日志 » 借助tcpdump统计http请求

打赏

如果此文对你有所帮助,请随意打赏鼓励作者^_^

评论 3

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  1. 少林功夫好tcpdump真是个神器啊。我还有很多不理解的。不知道楼主会不会再多弄几篇tcpdump的技术文章。尤其是抓到包的内容解析。 :razz: 当然楼主的awk,grep也很熟练啊。期待相应的文章。回复
  2. 少林功夫好可以悄悄的问楼主吗? uri和url区别到底是什么?回复
    • 朱 茂海url应该完成的链接,如http://www.centos.bz/ezhttp/,uri则指/ezhttp/回复