GolangNote

Golang笔记

Golang phantomjs 动态代理实现

Permalink

phantomjs 是个很优秀的软件,虽然现在被chrome headless 抢了风头,但在某些特定场合,使用phantomjs 还是很方便,这里是介绍使用Go 实现动态代理。

Golang phantomjs 动态代理实现

以 phantomjs 的最后稳定版本 2.1.1 为例,首先要找到合适的go 驱动,这里推荐 https://github.com/benbjohnson/phantomjs 这个库写得很简练,使用 go 管理 phantomjs shim.js 的进程,主要接口功能是通过 shim.js 实现,与 phantomjswebserver 交互。但这个go库自从phantomjs 停止后也宣布停止维护了,作者没有把代理的接口实现,幸好在其issues里发现与 代理相关的信息。下面是相关示例:

Go: phantomjs 动态代理
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
package main

import (
	"github.com/ego008/gophantomjs"
	"log"
)

func main() {
	// Start the process once.
	p := phantomjs.DefaultProcess
	if err := p.Open(); err != nil {
		log.Fatal(err)
	}
	defer phantomjs.DefaultProcess.Close()

	// Do other stuff in your program.

	// Create a web page.
	// IMPORTANT: Always make sure you close your pages!
	page, err := p.CreateWebPage()
	if err != nil {
		log.Fatal(err)
	}
	defer page.Close()

	if err := page.SetSettings(phantomjs.WebPageSettings{
		Proxy: "socks5://8.8.8.8:8888",
	}); err != nil {
		log.Fatal("SetSettings", err)
	}

	if err := page.SetProxy("socks5://8.8.8.8:8888"); err != nil {
		log.Fatal("page.SetProxy", err)
	}

	if err := p.SetProxy("8.8.8.8", "8888", "socks5", "", ""); err != nil {
		log.Fatal("phantomjs.SetProxy", err)
	}

	// Open a URL.
	if err := page.Open("http://httpbin.org/ip"); err != nil {
		log.Fatal(err)
	}
	log.Println(page.Content())

}

把代理信息改为自己的即可,这里有个优先级别:

page.SetSettings > page.SetProxy > phantomjs.SetProxy

page.SetSettings 的优先级别最高,如果在 page.SetSettings 里设置,则使用其它两种方式设置不会生效。

要动态设置phantomjs代理,要让 page.SetSettingsProxy 信息为空,使用page.SetProxyphantomjs.SetProxy 来设置。

参考

Related articles

Golang实现简单的Socks5代理

Socks5 代理较 `http/https` 代理有较好的性能,下面是借鉴某个著名开源软件的 local 实现的简单代理。...

Write a Comment to "Golang phantomjs 动态代理实现"

Submit Comment Login
Based on Golang + fastHTTP + youdb | go1.16 Processed in 1ms