robots.txt 的相关文章

  • 百度已经开始收入淘宝了

    刚才去百度site:taobao.com 发现百度已经收录了上千万的页面.但我看淘宝的robots.txt,发现还是禁止百度抓取的..额...好纠结啊.

    随便说说2013-06-01浏览(2858)阅读原文