狗萬娛樂
狗萬娛樂News Center
網站開發之SEO論robots.txt文件作用
2017-09-05

一.什么是robots.txt文件?

搜索引擎通過一種程序robot(又稱spider),自動訪問互聯網上的網頁并獲取網頁信息。spider在訪問一個網站時,會首先會檢查該網站的根域下是否有一個叫做robots.txt的純文本文件。您可以在您的網站中創建一個純文本文件robots.txt,在文件中聲明該網站中不想被robot訪問的部分或者指定搜索引擎只收錄特定的部分。

狗万娱乐  

請注意,robots.txt是一個純文本文件,是搜索引擎蜘蛛爬行網站的時候要訪問的第一個文件,當蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍,相當于網站與搜索引蜘蛛遵循協議,如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被屏蔽的網頁,作為站長,狗萬娛樂就可以通過robots.txt文件屏蔽掉錯誤的頁面和一些不想讓蜘蛛爬取和收錄的頁面。


二.robots.txt放置位置

robots.txt文件應該放置在網站根目錄下。舉例來說,當spider訪問一個網站(比如http://www.kdjxbg.vip)時,首先會檢查該網站中是否存在http://www.kdjxbg.vip/robots.txt這個文件,如果Spider找到這個文件,它就會根據這個文件的內容,來確定它訪問權限的范圍。

狗万娱乐  

三.robots.txt作用

第一,Robots.txt文件大大節省服務器寬帶
狗万娱乐 狗萬娛樂都知道像email retrievers、image strippers這類搜索引擎都耗用大量寬帶,而且對網站沒有什么太大的意義,而通過Robots.txt就可以制止不必要的爬行工作,如果你的網站是圖片站的話,沒有設置好Robots.txt文件的話,就會浪費大量的服務器寬帶。


第二、方便搜索引擎爬起工作
狗万娱乐 如果你的網站內容豐富,頁面很多,設置Robots.txt文件更為重要,比如你有個網站,整個站有50多個G,打開頁面可能會比較慢,如果不配置好Robots.txt文件的話,蜘蛛爬行工作就會很費力,而且如果太多的蜘蛛爬行,以至會影響你網站的正常訪問。

第三、聲明該網站中不想被robot訪問的部分或者指定搜索引擎只收錄特定的部分,優化蜘蛛訪問效率,蜘蛛抓取更頻繁。

狗万娱乐 第四、引導蜘蛛爬網站地圖

狗万娱乐  

介紹:狗萬娛樂科技,專注于網站建設領域10年,具有成熟的網站制作理念,豐富的網頁設計經驗。

 

電話:0577-88113499 86767266
傳真:0577-86767266
Email:md@kdjxbg.vip
7 × 24小時服務:13957753074 13958904321 郵編:325000
地址:浙江省溫州火車站(溫瑞大道)站南商貿城 E-407
狗萬娛樂公眾號 掃一掃關注狗萬娛樂
狗萬娛樂的服務:
  • 溫州網站建設
  • 溫州網站制作
  • 溫州網頁制作
  • 溫州網頁設計
  • 瑞安網站建設
  • 瑞安網站制作
  • 平陽網站制作
  • 平陽網站建設
Copyright © 1999-2019 All Rights Reserved 狗萬娛樂 版權所有   浙ICP備08013787號