<kbd id='wxyum2mf'></kbd><address id='wxyum2mf'><style id='wxyum2mf'></style></address><button id='wxyum2mf'></button>

              <kbd id='bj7z57vz'></kbd><address id='bj7z57vz'><style id='bj7z57vz'></style></address><button id='bj7z57vz'></button>

                      <kbd id='6sbo3m53'></kbd><address id='6sbo3m53'><style id='6sbo3m53'></style></address><button id='6sbo3m53'></button>

                              <kbd id='asd4l16h'></kbd><address id='asd4l16h'><style id='asd4l16h'></style></address><button id='asd4l16h'></button>

                                      <kbd id='6rejz8f3'></kbd><address id='6rejz8f3'><style id='6rejz8f3'></style></address><button id='6rejz8f3'></button>

                                              <kbd id='579ud2ps'></kbd><address id='579ud2ps'><style id='579ud2ps'></style></address><button id='579ud2ps'></button>

                                                  银河娱乐网址

                                                  银河娱乐平台被搜索引擎爬蟲訪問耗費大量流量解決方法

                                                  日期:2016/8/3 / 人氣:

                                                  問題場景:當客戶使用银河娱乐平台時 ,搜索引擎爬蟲會訪問該網站 ,並消耗大量流量和帶寬 。如何處理

                                                  解決方案:您可以在站點的根目錄中創建Robots.txt 。 Robots.txt文件是網站的文件 。搜索引擎蜘蛛首先抓取網站以獲取文件 ,並根據內部內容決定訪問網站文件的範圍 。 。它保護我們的一些文件免於暴露在搜索引擎中 ,有效地控制蜘蛛的爬行路徑 。

                                                  1.首先 ,讓我們看看當前的搜索引擎及其相應的User-Agent ,如下所示:

                                                  搜索引擎用戶代理
                                                  AltaVistaScooter
                                                  baiduBaiduspider
                                                  InfoseekInfoseek
                                                  HotbotSlurp
                                                  AOLSearchSlurp
                                                  ExciteArchitextSpider
                                                  GoogleGooglebot
                                                  GotoSlurp
                                                  LycosLycos
                                                  MSNSlurp
                                                  NetscapeGooglebot
                                                  NorthernLightGulliver
                                                  WebCrawlerArchitextSpider
                                                  IwonSlurp
                                                  FastFast
                                                  DirectHitGrabber
                                                  YahooWebPagesGooglebot
                                                  LooksmartWebPagesSlurp
                                                  2 ,Robots.txt示例代碼:

                                                  示例1.禁止所有搜索引擎訪問網站的任何部分 。 用戶代理: *
                                                  禁止:/
                                                  示例2.允許所有搜索引擎訪問網站的任何部分
                                                  用戶代理: *
                                                  禁止: 示例3.僅禁止Baiduspider訪問您的網站
                                                  用戶代理: Baiduspider
                                                  禁止:/
                                                  示例4.僅允許Baiduspider訪問您的網站
                                                  用戶代理: Baiduspider
                                                  禁止: 示例5.禁止蜘蛛訪問特定目錄
                                                  用戶代理: *
                                                  禁止:/cgi-bin/
                                                  禁止:/tmp/
                                                  禁止:/data/
                                                  注意:1)三個目錄應分開編寫 。 TR 2)請注意 ,最後必須有斜線 。 TR 3)斜線和斜線之間的區別 。 TR 示例6.允許訪問特定目錄中的部分URL 在a目錄下 ,只有b.htm允許訪問 。 用戶代理: *
                                                  允許: /a/b.htm
                                                  禁止:/a/

                                                  作者:技術圈朋友


                                                  银河娱乐网址