• <strike id="2k0e4"></strike>
    <ul id="2k0e4"><tbody id="2k0e4"></tbody></ul>
  • <th id="2k0e4"><menu id="2k0e4"></menu></th>
  • robots是什么意思?robots.txt文件在哪?

    Infocode藍(lán)暢 網(wǎng)站SEO優(yōu)化 533

    Robots文件是什么意思?

    Robots是站點與spider溝通的重要渠道,站點通過robots文件聲明本網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

    搜索引擎使用spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個網(wǎng)站時,會首先會檢查該網(wǎng)站的根域下是否有一個叫做 robots.

    Robots是什么
    Robots是什么

    txt的純文本文件,這個文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個robots.txt,在文件中聲明 該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

    僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容,請勿建立robots.txt文件。

    robots.txt文件放在哪里?

    robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來說,當(dāng)spider訪問一個網(wǎng)站(比如?http://www.abc.com)時,首先會檢查該網(wǎng)站中是否存在http://www.abc.com/robots.txt這個文件,如果?Spider找到這個文件,它就會根據(jù)這個文件的內(nèi)容,來確定它訪問權(quán)限的范圍。




    請輸入姓名或昵稱
    如果您有任何疑問、需要更多信息或希望與我們建立合作請留言
    =

    回復(fù)

    我來回復(fù)
    • 暫無回復(fù)內(nèi)容

    登錄 或者 注冊 后回復(fù)。
    主站蜘蛛池模板: 国产成人无码精品一区二区三区 | 四虎影视无码永久免费| 国产成人无码a区在线观看视频免费| 久久男人Av资源网站无码软件| 亚洲中文字幕无码久久| 国产成人精品一区二区三区无码| 亚洲Av永久无码精品三区在线| 亚洲av无码偷拍在线观看| 国产在线拍揄自揄拍无码| 无码人妻一区二区三区av| 无码免费一区二区三区免费播放 | 久久精品九九热无码免贵| 精品久久久久久久无码久中文字幕 | 丰满日韩放荡少妇无码视频| 精品无码国产自产在线观看水浒传 | 精品久久久久久无码免费| 中文字幕乱偷无码av先锋蜜桃| 国产成人无码AV一区二区| 日韩加勒比一本无码精品| 久久无码人妻一区二区三区| 亚洲?v无码国产在丝袜线观看 | 免费A级毛片无码A∨免费| 日韩精品无码免费专区网站| 免费无码一区二区三区蜜桃大| 乱色精品无码一区二区国产盗| 免费无码又爽又刺激一高潮| 国产成人精品无码一区二区老年人| 伊人久久大香线蕉无码| 色噜噜综合亚洲av中文无码 | 久久亚洲精品无码VA大香大香| 国产激情无码一区二区| 波多野结衣AV无码| 日本无码色情三级播放| 亚洲精品无码你懂的网站| 久久亚洲AV成人无码国产电影| 无码中文人妻在线一区| 无码aⅴ精品一区二区三区| 夫妻免费无码V看片| 爽到高潮无码视频在线观看| 亚洲AV无码不卡在线观看下载| 五月婷婷无码观看|