一米url外链抓取软件

功能特色

可验证存在某个特征URL的网站；

可限制是否只爬取站内网址及爬取数量；

可设置屏蔽站点，提高效率，防止爬取一些大型的无用站点；

自动过滤重复及提供识别email邮件提取；

C段同IP旁站扫描获取

一般像国外的服务器某个IP段下可能存在大量同类型cms的网站程序，该功能可实时监测出这些同类型的站点。

批量获取域名所在的所有IP段

根据IP段，调用bing的search api接口，扫描某个IP下的所有站点

支持多个bing的apikey秘钥轮换调用，绕过每月5000次限制。

多种方式URL外链资源整理！

可自动截断某个网址规则，比如要从所有url中过虑出“/wp-content/”类型，过滤后可自动截断网址，只保留唯一主域名，或获取主域后加入一段网址等格式；

可识别某个主域名下是否存在某页面，根据特征校验网址页面是否存在某字符判断存在，精准识别；

软件说明

谷歌百度等绝大多数搜索引擎脚本(footprint)抓取URL；

支持手工浏览器获取url，自动过滤重复url或域名；

全网段蜘蛛爬取分析过滤URL，全球海量url资源爬取；

同IP段网站批量扫描（C段扫描）；

多种方式外链资源整理(去重/识别/过滤)；

一米URL外链资源批量抓取工具主要功能

多搜索引擎抓取支持,自动/手动抓取支持,灵活快速批量抓取！

支持国内外多种搜索引擎类型，baidu.com,google.com,yahoo.com,bing.com,haosou.com,sougou.com等;

支持多脚本footprint+关键词抓取，自带匹配关键词库；

支持多线程抓取，自动延迟单个词最大提取页数设置；

支持本地切换VPN，断点续抓功能；

内置高匿名代理IP/专属代理支持，批量验证可用性，官方每天更新；

针对谷歌等可以使用搜索命令的引擎，可以更精准的使用搜索命令如:inurl:/wp-content/等获取资源，关于这类资源最好的获取方式还是直接手动从模拟浏览器中直接提取当前页链接，每页显示100条记录，软件也支持以此方式获取

全网段蜘蛛爬取过滤,模拟蜘蛛爬虫，抓取整个互联网！

导入初始的网址源数据，蜘蛛会在此基础上不断爬取整个互联网网址；

可根据设置的过滤URL规则过滤出需要的URL网址；