Big Bug Ban

兴趣 践行 创新

抓取javascript渲染的网页-pyrailgun

 

pyrailgun一点点在更新

最近我发布了新的0.25版本,修正了一个crash问题,同时文档也完善了许多

这个工具代码量不多,但是非常实用,也欢迎大家一起贡献源码

需要 Python2.7 版本,其他依赖安装的时候会自动解决

功能

安装

  • 从pip安装 pip install pyrailgun
  • 源码安装 python setup.py install

语法

例子

其他

更新

  • 0.25 fix 一个crash问题
  • 0.24 受版权限制,替换webbroser为自己写的版本 去除yaml的支持

Written by princehaku

5月 11th, 2014 at 1:03 上午

Posted in python

Tagged with , ,

with 8 comments

8 Responses to '抓取javascript渲染的网页-pyrailgun'

Subscribe to comments with RSS or TrackBack to '抓取javascript渲染的网页-pyrailgun'.

  1. 请问能不能把json文件再说详细一些。。。完全是一头雾水

    vanckyli

    3 7月 14 at 2:46 下午

  2. princehaku

    4 7月 14 at 4:43 下午

  3. 请问怎么获取js生成的网页节点的绝对位置呢?

    sun

    10 9月 14 at 10:52 上午

  4. 用webkit内核的时候 能不能多线程?

    jack li

    19 9月 14 at 12:30 上午

  5. 恩. 多线程正在考虑中 会支持一个callback在运行中获取最终数据

    princehaku

    19 9月 14 at 9:54 上午

  6. 恩? 首先你需要使用它的webkit功能 然后增加一点delay时间 保证js渲染完毕了 然后用常规的css表达式获取节点即可

    princehaku

    19 9月 14 at 9:55 上午

  7. 我在运行demo的时候,cmd输出的不是nodes列表,而是输出了网页源码,而且中文是乱码。不知道是什么原因。

    №风舞§天伤

    14 5月 16 at 8:27 下午

  8. 哦,还有运行那个打印到文件的demo也是同样的表现。两个demo一个并没有打印nodes,一个写出的文件为空。

    №风舞§天伤

    14 5月 16 at 8:35 下午

Leave a Reply