小紅書已屏蔽百度抓取,百度好日子到頭了
小紅書已屏蔽百度抓取,截止到2024年1月18日,小紅書網站共有 7億9807萬 個網頁被百度收錄,估計百度爬蟲太消耗小紅書服務器資源了,這樣下去,百度優質內容和好日子就快到頭了,還有百度app專門為小紅書開的tab筆記,將何去何從?
www.xiaohongshu.com站點信息
備案方:行吟信息科技(上海)有限公司,該網站共有 7億9807萬 個網頁被百度收錄,更多到搜索資源平臺分析收錄量
小紅書robots.txt文件內容如下:
通過https://www.xiaohongshu.com/robots.txt來看,已全部屏蔽百度蜘蛛抓取,Disallow代表禁止抓取任何網頁內容,同時還包括google、搜狗、360、必應等。
User-agent:Googlebot
Disallow:/
User-agent:Baiduspider
Disallow:/
User-agent:bingbot
Disallow:/
User-agent:Sogou web spider
Disallow:/
User-agent:Sogou wap spider
Disallow:/
User-agent:YisouSpider
Disallow:/
User-agent:BaiduSpider-ads
Disallow:/
User-agent:*
Disallow:/
目前,淘寶很早就屏蔽百度了
大站不需要百度,小站百度看不上,這百度非百度了,但還是可以收錄并搜到淘寶,因為淘寶品牌大,很多網站會分享。但搜索收錄到的大部分是首頁,且描述顯示的是被屏蔽,內容頁則是大部分搜不到。
溫馨提示:? 轉載注明來源《我想網》特此聲明:本文由想友提供,觀點僅代表本人,如若侵權請告知。
打賞
10,398位想友已打賞,部分“大名”未獲取