云落羽 发表于 2024-3-7 21:55:48

网站地图比较大，如何让蜘蛛访问地图使用cdn呢？


服务器宽带比较小 蜘蛛一爬我的网站地图 打开网站就比较慢了如何访问网站固定目录（网站地图目录）使用cdn加速或对象云储存呢？

習慣有袮 发表于 2024-3-7 21:56:02

1、CDN的服务商可以去提交工单去问问，看看操作是否可行；
2、蜘蛛抓取爬行，可以使用Robots去封禁来限制蜘蛛的爬行操作，但你是想让蜘蛛抓取的时候网站地图目录使用cdn加速或对象云储存，如果这个cdn有固定的同域名下地址，那可写这个地址就行，如果没有，可行性不太高，这种可尝试问下cdn服务商。
页: [1]
查看完整版本: 网站地图比较大，如何让蜘蛛访问地图使用cdn呢？