我用scrapy模拟登陆豆瓣,但是返回应该是没有登陆成功。
日志打印如下,显示豆邮的url响应是404,豆瓣的url都是https,抓包也看不到裸数据。请帮忙看下原因,或者有没有什么调试的方法。

爬虫主要代码如下:

2 1 收藏


直接登录
最新评论
  • 之前遇到过,被豆瓣ban掉了,参考下面方法解决掉了

    http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/practices.html#bans

  • 路易十四 数据挖掘 2016/08/29

    你先用浏览器登录成功一次,然后把成功后的cookie加入到你的scrapy中,不用填写就会自动登录成功,。

  • 小666   09/05

    yield FormRequest(url,meta = {‘cookiejar’:response.meta[‘cookiejar’]},
    headers = self.headers,
    callback = self.parse_item
    )

     

    1.FormRequest -> Request

    2. 把headers去掉试试

     

  • 小666   09/05

    将尼的headers改为

    应该可以的你试试