Go 怎么绕过Cloudflare 防护,避免抓取失败

通常情况下,我们爬取网站会设置agent 等相关参数,但是对于Cloudflare网站,除了这些以外还需要设置,tls指纹和和http2指纹。golang的net基础库没有对其进行支持,访问的时候还是会附带golang的特征,这时候我们就要保证golang 请求的特征和浏览器请求的特征一致。这时候我们可以用第三方扩展,已经对tls做了支持。https://github.com/imroc/reqp