默认的用户代理的编程库和命令行工具

这个文章的目的是收集一个列表常见HTTP用户代理名称使用默认由各种编程库和命令行工具。许多这些用户代理可能会用在一个真正的蜘蛛,但无论出于何种原因默认的用户代理字符串不重置虽然大多数很容易发生变化,以反映蜘蛛的名字。

希望这篇文章能帮助人们了解正在使用什么工具可以提供一些见解蜘蛛的目的,作为一个有用的资源在未来快速指南。

让我踢掉这几个条目列表中,有一个我自己的:

Jakarta commons httpclient

示例:“雅加达commons httpclient / 3 0 1”

HTTP客户端协议库,请看Apache.org以获得更多信息

史努比

示例:“史努比v1 2 3”

史努比v1 2 3它似乎是一个PHP类和一个版本在源锻造(看到史努比项目),这绝对是包含在Wordpress。

wget

示例:“Wget / 1 10 2(红色帽子修改)”

GNU wget(wget)是一个免费的网络工具来检索文件从万维网,使用HTTP(超文本传输协议)和FTP(文件传输协议),两个最广泛使用的互联网协议。”

libwww-perl

例如:“libwww-perl / 5.805”

这是一个通用的应用程序库检索HTTP文档使用PERL脚本通常从Linux服务器。这个特别的图书馆是常与黑客攻击、僵尸网络攻击[webmasterworld.com],应该阻止在一般。

卷曲或libcurl代理