什么是robots文件?設(shè)置搜索robots協(xié)議的后果

1509次閱讀

Robots是站點與spider溝通的重要渠道,站點通過robots文件聲明本網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

9月11日,百度搜索robots全新升級。升級后robots將優(yōu)化對網(wǎng)站視頻URL收錄抓取情況。僅當(dāng)您的網(wǎng)站包含不希望被視頻搜索引擎收錄的內(nèi)容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容,請勿建立robots.txt文件。

如您的網(wǎng)站未設(shè)置robots協(xié)議,百度搜索對網(wǎng)站視頻URL的收錄將包含視頻播放頁URL,及頁面中的視頻文件、視頻周邊文本等信息,搜索對已收錄的短視頻資源將對用戶呈現(xiàn)為視頻極速體驗頁。此外,綜藝影視類長視頻,搜索引擎僅收錄頁面URL。

設(shè)置搜索robots協(xié)議的后果

針對短視頻類內(nèi)容,視頻搜索將不再索引、展現(xiàn)網(wǎng)站的視頻資源,歷史已索引部分會從搜索中屏蔽。若設(shè)置部分目錄不希望被收錄 ,該目錄下內(nèi)容將從搜索中屏蔽,其余內(nèi)容在搜索中則以正常結(jié)果展示。


閱讀本文的人還可以閱讀:

網(wǎng)站為什么流量異常?網(wǎng)站流量異常10大原因(1)

什么是抓取異常?網(wǎng)站抓取異常的原因

什么是百度抓取異常?抓取異常對網(wǎng)站的影響有哪些

本文由夫唯SEO特訓(xùn)營編輯整理。

搜外專注SEO培訓(xùn)和SEO周邊Saas服務(wù)解決方案,10年來超過五萬學(xué)員在此獲得技術(shù)提升和人脈圈子。

SEO課程包含移動搜索、零基礎(chǔ)建站、群站SEO思維、搜外6系統(tǒng)、SEM入門等。

192期A班報名時間7月1日-7月15日,請?zhí)砑诱猩头∧⑿牛簊eowhy2021。 微信掃碼添加客服人員

我們的目標是:讓非技術(shù)人員輕松學(xué)會互聯(lián)網(wǎng)技術(shù)。

  • 搜外會員SEO交流群(免費)

    微信掃碼添加客服人員
  • 小程序運營交流群(免費)

    微信掃碼添加客服人員
  • 搜外會員SEM競價交流群(免費)

    微信掃碼添加客服人員
  • 夫唯學(xué)員SEO交流群(VIP)

    微信掃碼添加客服人員

掃碼獲取資源

微信掃碼添加客服人員
  • SEO技術(shù)實戰(zhàn)微信群

    微信掃碼添加客服人員
  • 大站流量總監(jiān)群(審核身份)

    微信掃碼添加客服人員
  • Google獨立站英文SEO群

    微信掃碼添加客服人員
  • SEO團隊KPI管理表格

    微信掃碼添加客服人員
  • 工業(yè)品網(wǎng)站友情鏈接群

    微信掃碼添加客服人員
  • 本地生活服務(wù)業(yè)友鏈群

    微信掃碼添加客服人員

跟夫唯老師系統(tǒng)學(xué)習(xí)群站SEO
成為互聯(lián)網(wǎng)運營推廣大咖

掌握SEO技巧、建站前端、群站霸屏、SEM入門、新聞源推廣……
Processed in 0.100466 Second , 75 querys.