编程开发 购物 网址 游戏 小说 歌词 快照 开发 股票 美女 新闻 笑话 | 汉字 软件 日历 阅读 下载 图书馆 编程 China
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
移动开发 架构设计 编程语言 互联网 开发经验 Web前端 开发总结
开发杂谈 系统运维 研发管理 数据库 云 计 算 Java开发
VC(MFC) Delphi VB C++(C语言) C++ Builder 其它开发语言 云计算 Java开发 .Net开发 IOS开发 Android开发 PHP语言 JavaScript
ASP语言 HTML(CSS) HTML5 Apache MSSQL数据库 Oracle数据库 PowerBuilder Informatica 其它数据库 硬件及嵌入式开发 Linux开发资料
  编程开发知识库 -> 互联网 -> Java网络爬虫(十四)--使用tcpdump和wireshark进行网络抓包与分析 -> 正文阅读
 

[互联网]Java网络爬虫(十四)--使用tcpdump和wireshark进行网络抓包与分析[第1页]

最近打算通过学校的某某系统抓取一下每个学生的个人信息,由于需要进行模拟登录,所以就要对登录页面进行post参数的提交。但是在进行网络抓包的过程中,使用chrome自带的网络抓包分析工具(也就是F12)发现每次在进行登录提交表格之后,chrome并不能将所需要提交的参数表单抓取下来。
问了学长原因,觉得是登录成功之后因为页面的跳转需要进行刷新,所以就将表单提交的那部分数据给刷掉了。学长提供的解决办法是使用fiddler网络抓包工具进行抓包及分析。但在查阅相关资料之后发现fiddler对Linux操作系统(本人开发环境Ubuntu 16.04)的支持并不是很好。所以我使用了tcpdump进行网络抓包,结合wireshark进行数据包的分析。
需求如下:

如图,提交登录表单的页面,然后使用chrome自带抓包工具进行网络抓包:

这里面并没有我想要的东西。
tcpdump的使用
tcpdump [-i 网卡] -nnAX ‘表达式’
各参数说明如下:
-i:interface 监听的网卡。
-nn:表示以ip和port的方式显示来源主机和目的主机,而不是用主机名和服务。
-A:以ascii的方式显示数据包,抓取web数据时很有用。
-X:数据包将会以16进制和ascii的方式显示。
表达式:表达式有很多种,常见的有:host 主机;port 端口;src host 发包主机;dst host 收包主机。多个条件可以用and、or组合,取反可以使用!,更多的使用可以查看man 7 pcap-filter。
具体的使用我就不再贴出,推荐大家看这篇博客:linux使用tcpdump抓包工具抓取网络数据包,多示例演示
补充一点的就是,我们使用tcpdump进行网络抓包,然后接下来需要使用wireshark进行数据分析,所以我们需要将tcpdump截获的网络数据保存为cap文本格式。
使用形式为(后台执行):tcpdump -i eno1 port 8080 -w /tmp/xxx.cap &
wireshark的使用
其实wireshark是一个非常强大的网络分析与监控软件,它不但可以分析网络数据包,也可以进行网络抓包。但是由于我先接触了tcpdump,所以对于wireshark怎么进行网络抓包并不是特别清楚,如果是想要学习wireshark的同学,建议自己在网上进行相关资料的查找。
安利大家一个Ubuntu下面wireshark安装与部署的教程(亲测有效):ubuntu下安装wireshark(以及配置非root)
当打开wireshark之后,就可以打开我们刚才保存的cap文件,具体的操作过程我不再演示,我们还可以使用wireshark过滤其中的数据,好比我们只需要http协议产生的数据,只需要设置好相应的应用显示过滤器即可。
算了,还是再安利大家一个简单的wireshark使用教程吧,其中安装的过程我们不需要再进行学习,直接查看使用就好(每个人下载下来的wireshark版本也许略有差别,这个教程和我使用的界面基本一致):ubuntu下学习wireshark使用
再来一篇觉得可以让你基本会使用wireshark的博客教程:用WireShark进行网络抓包
关于更详细的wireshark使用还是建议大家上百度~~~
最后我使用wireshark很容易的拿到了自己所需要的数据包~~~
阅读全文
版权声明: 举报
标签: 网络爬虫 / 本文已收录于以下专栏: Java-网络爬虫

发表评论
HTML/XML objective-c Delphi Ruby PHP C# C++ JavaScript Visual Basic Python Java CSS SQL 其它
相关文章推荐
使用tcpdump和wireshark进行网络抓包与分析
网络抓包与分析方法 1、hub+wireshark 使用hub+wireshark抓包保存为文件,然后再使用wireshark来分析。 该方法适用大多数情况。 2、tcpdump+wireshar...
dashon2011 2014-12-04 14:54 993 用WireShark进行网络抓包
这是本菜鸟参考网上一篇教程进行的网络抓包,记录一下过程啦。 第一步:安装WireShark1.6.4的同时,依赖安装了winPCap,winPCap是用于网络封包抓取的一套工具,可适用于32位的操作...
taylor_tao 2011-12-09 10:17 1424 CentOS下使用tcpdump网络抓包用
tcpdump是Linux下的截获分析网络数据包的工具,对优化系统性能有很大参考价值。 安装 tcpdump不是默认安装的,在CentOS下安装: yum install tcpdump 在Ubunt...
u011630575 2015-09-07 20:07 2621 Linux网络抓包工具——tcpdump
本文转自:http://blog.csdn.net/gdutliuyun827/article/details/17282717 用简单的话来定义tcpdump,就是:dump the traf...
donglicaiju76152 2015-02-11 15:55 410 iOS开发——使用Charles进行http网络抓包详解
我在之前一篇博客《网络抓包工具Charles的介绍与使用》中简单介绍了Charles的安装破解,以及进行简单的Charles抓包配置的介绍。今天我们来详细介绍下使用Charles进行http抓包,关于...
CHENYUFENG1991 2015-12-23 21:48 4563 iOS开发-使用Charles进行网络抓包总结
一、安装Charles 下载地址:http://pan.baidu.com/s/1numMoTr 如何破解: 打开Finder中的应用程序-->Charles-->右键显示包内容-->Contents...
q450447758 2016-04-27 13:32 9278 Linux网络抓包工具——tcpdump
用简单的话来定义tcpdump,就是:dump the traffic on a network,根据使用者的定义对网络上的数据包进行截获的包分析工具。 tcpdump可以将网络中传送的数据包的“头”...
gdutliuyun827 2013-12-12 14:45 6138 win10下使用Fiddler进行网络抓包
相信不管对于开发还是测试,掌握网络抓包是必须得会的吧。下面先是转载一遍《Android利用Fiddler进行网络数据抓包》,你可以按着文章步骤操作,如果抓包成功,那恭喜你,下面的屁话可以不用看了额; ...
mqy1023 2016-05-22 14:51 10815 iOS开发——使用Charles进行https网络抓包详解
我在前面两篇博客中《网络抓包工具Charles的介绍与使用》《iOS开发——使用Charles进行http网络抓包详解》对Charles的http抓包进行了详细的讲解。今天我们来实现一下进行https...
CHENYUFENG1991 2015-12-23 22:34 5143
championhengyi +关注
原创 74 粉丝 喜欢 0 码云  
他的最新文章 更多文章
Java多线程--深入剖析单例模式下存在的线程安全问题 JVM--从volatile深入理解Java内存模型 Java网络爬虫(十三)--重构定时爬取以及IP代理池(多线程+Redis+代码优化)
编辑推荐 最新专栏 Java-网络爬虫 使用tcpdump和wireshark进行网络抓包与分析 用WireShark进行网络抓包 CentOS下使用tcpdump网络抓包用 Linux网络抓包工具——tcpdump
在线课程

自然语言处理在“天猫精灵”的实践应用
讲师:姜飞俊

蚂蜂窝大数据平台架构及Druid引擎实践
讲师:汪木铃
目录
喜欢 取消喜欢 收藏 评论 分享
  互联网 最新文章
Stanford 英文词性标注(Part-of-speech)缩
基于窗口的实时统计
求解矩阵最短路径问题
SSL握手通信详解及linux下c/c++ SSL Socket
关于服务器上(Docker中)运行Java程序时区
python爬虫系列(六):强大的beautifulsou
[计算机网络笔记]第四部分——网络层 选路算
11.28 北京,念腾讯暑假,不思则惘吧!
web安全之
滑块验证码识别 java版本
上一篇文章      下一篇文章      查看所有文章
加:2017-09-28 16:13:45  更:2017-09-28 16:14:06 
VC(MFC) Delphi VB C++(C语言) C++ Builder 其它开发语言 云计算 Java开发 .Net开发 IOS开发 Android开发 PHP语言 JavaScript
ASP语言 HTML(CSS) HTML5 Apache MSSQL数据库 Oracle数据库 PowerBuilder Informatica 其它数据库 硬件及嵌入式开发 Linux开发资料
360图书馆 软件开发资料 文字转语音 购物精选 软件下载 新闻资讯 小游戏 Chinese Culture 股票 三丰软件 开发 中国文化 网文精选 阅读网 看图 日历 万年历 2018年10日历
2018-10-18 23:34:17
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  编程开发知识库