国产综合精品-久久久久久成人毛片免费看-69久久夜色精品国产69-美国十次啦怡红院

免費(fèi)推廣知識(shí)

首頁(yè) > 免費(fèi) > 免費(fèi)推廣知識(shí) >

我不想我的網(wǎng)站被Baiduspider訪問(wèn),我該怎么做?

來(lái)源:北京匯仁智杰科技有限公   時(shí)間:2016-01-15   點(diǎn)擊:

  Baiduspider遵守互聯(lián)網(wǎng)robots協(xié)議。您可以利用robots.txt文件完全禁止Baiduspider訪問(wèn)您的網(wǎng)站,或者禁止 Baiduspider訪問(wèn)您網(wǎng)站上的部分文件。 注意:禁止Baiduspider訪問(wèn)您的網(wǎng)站,將使您的網(wǎng)站上的網(wǎng)頁(yè),在百度搜索引擎以及所有百度提供搜索引擎服務(wù)的搜索引擎中無(wú)法被搜索到。

  您可以根據(jù)各產(chǎn)品不同的user-agent設(shè)置不同的抓取規(guī)則,如果您想完全禁止百度所有的產(chǎn)品收錄,可以直接對(duì)Baiduspider設(shè)置禁止抓取。

  以下robots實(shí)現(xiàn)禁止所有來(lái)自百度的抓?。?/p>

  User-agent: Baiduspider

  Disallow: /

  以下robots實(shí)現(xiàn)禁止所有來(lái)自百度的抓取但允許圖片搜索抓取/image/目錄:

  User-agent: Baiduspider

  Disallow: /

  User-agent: Baiduspider-image

  Allow: /image/

  請(qǐng)注意:Baiduspider-cpro抓取的網(wǎng)頁(yè)并不會(huì)建入索引,只是執(zhí)行與客戶約定的操作,所以不遵守robots協(xié)議。

網(wǎng)絡(luò)營(yíng)銷推廣?。”本﹨R仁智杰科技有限公司!

地址:北京市昌平區(qū)回龍觀龍冠大廈5層
咨詢:15201492965
業(yè)務(wù)QQ:373002979
E - mail:sales @ huirenzhijie.com
企業(yè)網(wǎng)站備案:京ICP備15021091號(hào)-1

匯仁智杰與眾不同

  • 有網(wǎng)絡(luò)推廣經(jīng)驗(yàn)
  • 有網(wǎng)站建站隊(duì)伍
  • 有大型網(wǎng)站建設(shè)經(jīng)驗(yàn)
  • 致力于營(yíng)銷型網(wǎng)站建設(shè)
  • 始終堅(jiān)持技術(shù)和服務(wù)同樣重要
查看PC版網(wǎng)站
備案號(hào):京ICP備15021091號(hào)-1 版權(quán)所有:匯仁智杰