Golang phantomjs 动态代理实现
🕕 Fri, 21 Jun 2019 by GolangNote
phantomjs 是个很优秀的软件,虽然现在被chrome headless 抢了风头,但在某些特定场合,使用phantomjs 还是很方便,这里是介绍使用Go 实现动态代理。
以phantomjs 的最后稳定版本 2.1.1 为例,首先要找到合适的go 驱动,这里推荐 https://github.com/benbjohnson/phantomjs 15 这个库写得很简练,使用 go 管理 phantomjs shim.js
的进程,主要接口功能是通过 shim.js
实现,与 phantomjs
的 webserver
交互。但这个go库自从phantomjs 停止后也宣布停止维护了,作者没有把代理的接口实现,幸好在其issues里发现与 https://github.com/benbjohnson/phantomjs/issues/4 10相关的信息。下面是相关示例:
package main
import (
"github.com/ego008/gophantomjs"
"log"
)
func main() {
// Start the process once.
p := phantomjs.DefaultProcess
if err := p.Open(); err != nil {
log.Fatal(err)
}
defer phantomjs.DefaultProcess.Close()
// Do other stuff in your program.
// Create a web page.
// IMPORTANT: Always make sure you close your pages!
page, err := p.CreateWebPage()
if err != nil {
log.Fatal(err)
}
defer page.Close()
if err := page.SetSettings(phantomjs.WebPageSettings{
Proxy: "socks5://8.8.8.8:8888",
}); err != nil {
log.Fatal("SetSettings", err)
}
if err := page.SetProxy("socks5://8.8.8.8:8888"); err != nil {
log.Fatal("page.SetProxy", err)
}
if err := p.SetProxy("8.8.8.8", "8888", "socks5", "", ""); err != nil {
log.Fatal("phantomjs.SetProxy", err)
}
// Open a URL.
if err := page.Open("http://httpbin.org/ip"); err != nil {
log.Fatal(err)
}
log.Println(page.Content())
}
把代理信息改为自己的即可,这里有个优先级别:
page.SetSettings > page.SetProxy > phantomjs.SetProxy
page.SetSettings
的优先级别最高,如果在 page.SetSettings 里设置,则使用其它两种方式设置不会生效。
要动态设置phantomjs
代理,要让 page.SetSettings
的Proxy
信息为空,使用page.SetProxy
或 phantomjs.SetProxy
来设置。
参考
本文网址: https://golangnote.com/topic/262.html (转载注明出处)
关于GolangNote:记录在工作中使用golang 遇到、面临的相关问题及解决方法。如果你在这里获得一些知识或信息,解决你的编程问题,请考虑捐赠给不幸的人或者你喜欢的慈善机构,除捐赠外,种植树木、志愿服务或减少排碳的行为也很有益处。如果你有任何问题可以在下面 留言
Be the first to comment!
Relative Articles
Recent Go Articles
- Golang 把cookie 字符串解析为cookie 结构
- Golang 计算字符串中包含某个或某些字符集的个数
- 使用Golang 对文件增删写读操作备忘
- Go Modules 使用备忘
- 使用Golang 简单删除图片exif 信息
- 谷歌翻译的 golang 库推荐
- Go 1.13.2 与1.13.3 紧急更新
- golang 人脸检测识别库
- Go build 错误 “stackcheck redeclared in this block previous declaration”的解决方法
- Golang phantomjs 动态代理实现
- Golang chrome debug protocol 库推荐
- Golang 随机打乱数组/Slice
- Golang sync.WaitGroup 的 Wait 超时处理
- Golang实现简单的Socks5代理
- Golang 用snappy + Base64 简单压缩加密进行网络传输
- Golang http IPv4/IPv6 服务
- golang 全角半角相互转换
- 在自己的网站部署TLS 1.3
- Golang 实现/打印菜单树
- Golang telegram 机器人小试
Top Go Articles
- 用golang 标准库regexp 验证用户名和密码的合法性
- Golang http IPv4/IPv6 服务
- mismatched types time.Duration and int
- golang 用gzip 压缩、解压缩字符串
- golang 简单全局计数器实现
- Golang sync.WaitGroup 的 Wait 超时处理
- Golang telegram 机器人小试
- Golang 并发控制的两种模式
- go 获取硬盘的可用空间的方法
- iris websocket 自定义信息结构
- golang map 按value 大小排序,降序和升序
- Golang Leveldb 基本使用的例子
- go post 上传文件的例子
- golang 生成良好的唯一ID/uuid库比较
- golang 获取用户真实访问ip 地址
- Golang webview 做桌面应用及跨平台编译
- Golang http.Post 用最小的内存发送大文件
- golang image 智能合并图片
- Golang string 和byte 操作性能比较
- golang 使用crypto/rand 生成随机数