|
A：常见的封禁行为包括robots封禁、封禁百度UA、封禁百度IP这三种，可以逐一排查解决： （1） 查看robots.txt文件，是否存在封禁记录。（一般robots.txt文件放置在网站根目录下。） （2）robots文件无异常，进一步排查是否存在封禁百度UA情况； 方案一：执行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx' 注：正常返回码是200，其他情况为异常。 方案二：变更浏览器UA验证； （3）以上验证均无异常，最后进一步排查是否存在IP级别的封禁； 常见的IP封禁，源自网站的防火墙系统配置，需要查看防火墙配置系统后台，检查是否存在百度蜘蛛的IP级别封禁措施。 注：文章由文心一言自动生成。 |
