Golang笔记

Golang phantomjs 动态代理实现

phantomjs 是个很优秀的软件,虽然现在被chrome headless 抢了风头,但在某些特定场合,使用phantomjs 还是很方便,这里是介绍使用Go 实现动态代理。

以phantomjs 的最后稳定版本 2.1.1 为例,首先要找到合适的go 驱动,这里推荐 https://github.com/benbjohnson/phantomjs 4 这个库写得很简练,使用 go 管理 phantomjs shim.js 的进程,主要接口功能是通过 shim.js 实现,与 phantomjswebserver 交互。但这个go库自从phantomjs 停止后也宣布停止维护了,作者没有把代理的接口实现,幸好在其issues里发现与 https://github.com/benbjohnson/phantomjs/issues/4 3相关的信息。下面是相关示例:

package main

import (
	"github.com/ego008/gophantomjs"
	"log"
)

func main() {
	// Start the process once.
	p := phantomjs.DefaultProcess
	if err := p.Open(); err != nil {
		log.Fatal(err)
	}
	defer phantomjs.DefaultProcess.Close()

	// Do other stuff in your program.

	// Create a web page.
	// IMPORTANT: Always make sure you close your pages!
	page, err := p.CreateWebPage()
	if err != nil {
		log.Fatal(err)
	}
	defer page.Close()

	if err := page.SetSettings(phantomjs.WebPageSettings{
		Proxy: "socks5://8.8.8.8:8888",
	}); err != nil {
		log.Fatal("SetSettings", err)
	}

	if err := page.SetProxy("socks5://8.8.8.8:8888"); err != nil {
		log.Fatal("page.SetProxy", err)
	}

	if err := p.SetProxy("8.8.8.8", "8888", "socks5", "", ""); err != nil {
		log.Fatal("phantomjs.SetProxy", err)
	}

	// Open a URL.
	if err := page.Open("http://httpbin.org/ip"); err != nil {
		log.Fatal(err)
	}
	log.Println(page.Content())

}

把代理信息改为自己的即可,这里有个优先级别:

page.SetSettings > page.SetProxy > phantomjs.SetProxy

page.SetSettings 的优先级别最高,如果在 page.SetSettings 里设置,则使用其它两种方式设置不会生效。

要动态设置phantomjs代理,要让 page.SetSettingsProxy 信息为空,使用page.SetProxyphantomjs.SetProxy 来设置。

参考

本文网址: https://golangnote.com/topic/262.html (转载注明出处)
关于GolangNote:记录在工作中使用golang 遇到、面临的相关问题及解决方法。如果你在这里获得一些知识或信息,解决你的编程问题,请考虑捐赠给不幸的人或者你喜欢的慈善机构,除捐赠外,种植树木、志愿服务或减少排碳的行为也很有益处。如果你有任何问题可以在下面 留言
Be the first to comment!
Captcha image
Relative Articles