正文

Scrapy爬虫错误：403 FORBIDDEN 与 User-agent

譬如朝露 V管理员/ / 0 评论/ 828阅读
03 24

出现403是因为没有设置请求头

在setting.py文件中增加USER_AGENT配置：

USER_AGENT=‘网站请求头’

在Scrapy shell 中设置 User-Agent

scrapy shell 'xxx_url' -s USER_AGENT='Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'


文章版权声明：除非注明，否则均为 譬如朝露_策温技术开发工作室博客原创文章，转载或复制请以超链接形式并注明出处。