“Cloudflare可以帮助受保护站点抵御包括分布式拒绝服务攻击(DDoS, Distributed Denial of Service)在内的大多数网络攻击,确保该网站长期在线,同时提升网站的性能、访问速度以改善访客体验。”
但如果搜索引擎蜘蛛也直接访问CF(cloudflare的简称)获取随机ip,每次抓住的ip都发生变化,并且相对于蜘蛛直接抓取源站ip的平均耗时长,就会影响到蜘蛛对网站的抓取频次,不利于SEO优化。因此,就需要配置蜘蛛回源抓取。
本文介绍通过DNSPod设置蜘蛛回源的方法。
第一步 注册DNSPod账户
官网:https://www.dnspod.cn/
第二步 后台添加域名
![图片[1]-DNSPod设置搜索引擎蜘蛛回源方法](https://www.afx5.cn/wp-content/uploads/2023/01/81c9f1cc33144111.jpg)
![图片[2]-DNSPod设置搜索引擎蜘蛛回源方法](https://www.afx5.cn/wp-content/uploads/2023/01/e2ccc32271144120.jpg)
第三步 更改域名dns
添加域名之后,如果域名之前在别的平台进行的解析,会显示“DNS不正确”,点击更改dns
![图片[3]-DNSPod设置搜索引擎蜘蛛回源方法](https://www.afx5.cn/wp-content/uploads/2023/01/d66e26d3c4144158.jpg)
第四步 添加线路分组(蜘蛛线路)
1)添加记录,选择线路类型,里面先添加线路分组
![图片[4]-DNSPod设置搜索引擎蜘蛛回源方法](https://www.afx5.cn/wp-content/uploads/2023/01/1fdd93378b144232-1024x548.jpg)
2)蜘蛛线路选这几个,然后保存线路
![图片[5]-DNSPod设置搜索引擎蜘蛛回源方法](https://www.afx5.cn/wp-content/uploads/2023/01/2cf7c2f1b0144310-1024x374.jpg)
第五步 添加解析记录
1)添加A记录
线路选择刚才建立的线路分组,记录值为自己的服务器ip
![图片[6]-DNSPod设置搜索引擎蜘蛛回源方法](https://www.afx5.cn/wp-content/uploads/2023/01/707220e98c144354-1024x269.jpg)
这样蜘蛛独立抓取的ip就设置成功了。
2)添加CNAME记录
不要忘记添加CNAME记录,对接到CDN(如cloudflare),挂个免费的CF隐藏ip。
![图片[7]-DNSPod设置搜索引擎蜘蛛回源方法](https://www.afx5.cn/wp-content/uploads/2023/01/4a2fd548a2144458.jpg)
蜘蛛回源配置完成,可以实现访客通过CDN访问的同时,蜘蛛通过分组直接访问服务器源ip。
DNSPod专业版
免费版DNS可以尝试升级至专业版,建议购买dnspod专业版,更便宜的购买途径:
https://www.dnspod.cn/promo/domainscarnival?promo_code=S2N37CX622382H3U#anch_dnsPackage
![图片[8]-DNSPod设置搜索引擎蜘蛛回源方法](https://www.afx5.cn/wp-content/uploads/2023/01/e00ed1c059144559.jpg)