Robots.txt检测

本工具获取目标站点根目录下的 robots.txt 并解析常见指令，不模拟搜索引擎真实抓取行为。