• <strike id="2k0e4"></strike>
    <ul id="2k0e4"><tbody id="2k0e4"></tbody></ul>
  • <th id="2k0e4"><menu id="2k0e4"></menu></th>
  • robots是什么意思?robots.txt文件在哪?

    Infocode藍(lán)暢 網(wǎng)站SEO優(yōu)化 533

    Robots文件是什么意思?

    Robots是站點與spider溝通的重要渠道,站點通過robots文件聲明本網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

    搜索引擎使用spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個網(wǎng)站時,會首先會檢查該網(wǎng)站的根域下是否有一個叫做 robots.

    Robots是什么
    Robots是什么

    txt的純文本文件,這個文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個robots.txt,在文件中聲明 該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

    僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容,請勿建立robots.txt文件。

    robots.txt文件放在哪里?

    robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來說,當(dāng)spider訪問一個網(wǎng)站(比如?http://www.abc.com)時,首先會檢查該網(wǎng)站中是否存在http://www.abc.com/robots.txt這個文件,如果?Spider找到這個文件,它就會根據(jù)這個文件的內(nèi)容,來確定它訪問權(quán)限的范圍。




    請輸入姓名或昵稱
    如果您有任何疑問、需要更多信息或希望與我們建立合作請留言
    =

    回復(fù)

    我來回復(fù)
    • 暫無回復(fù)內(nèi)容

    登錄 或者 注冊 后回復(fù)。
    主站蜘蛛池模板: 18禁网站免费无遮挡无码中文| 东京热av人妻无码| 国产成人A亚洲精V品无码 | 久久久久久国产精品无码下载 | 亚洲一级特黄无码片| 亚洲爆乳无码一区二区三区| 亚洲av永久无码精品网站| 亚洲私人无码综合久久网| 日韩AV无码一区二区三区不卡毛片| 日韩午夜福利无码专区a| 国产免费黄色无码视频| 69堂人成无码免费视频果冻传媒| 伊人久久无码中文字幕| 五十路熟妇高熟无码视频| 小13箩利洗澡无码视频网站| 午夜无码中文字幕在线播放| 一区二区无码免费视频网站| 东京热av人妻无码专区| 国产精品99无码一区二区| 亚洲爆乳精品无码一区二区| 日韩人妻精品无码一区二区三区 | 无码国内精品久久人妻| 亚洲日韩精品无码专区网站| 午夜爽喷水无码成人18禁三级| 亚洲AV无码一区二区三区系列| 成人无码精品一区二区三区| 无码国内精品久久综合88| 无码精品A∨在线观看中文| 国产精品无码久久久久久| 精品久久久无码中文字幕天天| 久久亚洲精品无码网站| 亚洲AV无码国产剧情| 免费A级毛片无码A∨免费| 日韩精品无码一区二区中文字幕| 中文字幕精品无码久久久久久3D日动漫 | 男人av无码天堂| 亚洲av无码片vr一区二区三区| 亚洲综合无码一区二区三区| 精品无码国产自产拍在线观看| 国产成A人亚洲精V品无码性色| 国产V亚洲V天堂无码|