Scrapy

前言 做爬虫的都知道，模拟真实用户是很重要的，爬虫与反爬虫斗争的过程中，其实就是围绕伪装与鉴别，常见的反爬虫策略都会添加对 User Agent 的校验，会封掉常见的爬虫请求头，比如 Scrapy 默认的 User Agent 是什么呢？同过下面的方式试一下： scrapy shell https://httpbin.org/user-agent 在结果中使用： response.text 进行查看，结果为： { "user-agent":"Scrapy/