system

package

v0.0.0-...-f663f0b Latest Latest Go to latest Published: May 19, 2018 License: Apache-2.0 Imports: 17 Imported by: 0

Details

Valid go.mod file
Redistributable license
Tagged version
Stable version
Learn more about best practices

Repository

github.com/alezh/novel

Links

Open Source Insights

Documentation ¶

Constants ¶

View Source

const (
	GC_SIZE = 50 << 20 //默认50MB
)

Variables ¶

View Source

var SystemInfo = SysInterface()

Functions ¶

func ManualGC ¶

func ManualGC()

手动释放堆中准备重用的一些内存

Types ¶

type Enging ¶

type Enging interface {
	Init(int, int, string, ...io.Writer) Enging
	ReInit(int, int, string, ...io.Writer) Enging
	SpiderPrepare([]*spider.Spider) Enging
	GetOutputLib() []string
	GetSpiderLib() []*spider.Spider
	GetSpiderByName(string) *spider.Spider
	GetTaskJar() *mission.TaskJar
	GetSpiderQueue() reptilian.SpiderQueue
	Start()
	SetConfig(string, interface{}) Enging
	GetConfig(...string) interface{}
}

func SysInterface ¶

func SysInterface() Enging

type System ¶

type System struct {
	*config.SysConfig       // 全局配置
	*spider.Species         // 全部蜘蛛种类
	*mission.TaskJar        // 服务器与客户端间传递任务的存储库
	reptilian.SpiderQueue   // 当前任务的蜘蛛队列
	teleport.Teleport       // socket长连接双工通信接口，json数据传输
	reptilian.ReptilianPool // 爬行回收池

	sync.RWMutex
	// contains filtered or unexported fields
}

func (*System) CountNodes ¶

func (self *System) CountNodes() int

服务器客户端模式下返回节点数

func (*System) GetConfig ¶

func (sys *System) GetConfig(k ...string) interface{}

func (*System) GetMode ¶

func (self *System) GetMode() int

返回当前运行模式

func (*System) GetOutputLib ¶

func (self *System) GetOutputLib() []string

获取全部输出方式

func (*System) GetSpiderByName ¶

func (self *System) GetSpiderByName(name string) *spider.Spider

通过名字获取某蜘蛛

func (*System) GetSpiderLib ¶

func (self *System) GetSpiderLib() []*spider.Spider

获取全部蜘蛛种类

func (*System) GetSpiderQueue ¶

func (self *System) GetSpiderQueue() reptilian.SpiderQueue

获取蜘蛛队列接口实例

func (*System) GetTaskJar ¶

func (self *System) GetTaskJar() *mission.TaskJar

返回任务库

func (*System) Init ¶

func (sys *System) Init(mode int, port int, master string, w ...io.Writer) Enging

func (*System) IsPause ¶

func (self *System) IsPause() bool

检查任务是否处于暂停状态

func (*System) IsRunning ¶

func (self *System) IsRunning() bool

检查任务是否正在运行

func (*System) IsStopped ¶

func (self *System) IsStopped() bool

检查任务是否已经终止

func (*System) LogGoOn ¶

func (sys *System) LogGoOn()

func (*System) ReInit ¶

func (sys *System) ReInit(mode int, port int, master string, w ...io.Writer) Enging

func (*System) SetConfig ¶

func (sys *System) SetConfig(k string, v interface{}) Enging

设置全局参数

func (*System) SpiderPrepare ¶

func (self *System) SpiderPrepare(original []*spider.Spider) Enging

SpiderPrepare()必须在设置全局运行参数之后，Run()的前一刻执行 original为spider包中未有过赋值操作的原始蜘蛛种类已被显式赋值过的spider将不再重新分配Keyin client模式下不调用该方法

func (*System) Start ¶

func (sys *System) Start()

运行任务

func (*System) Status ¶

func (self *System) Status() int

返回当前运行状态

func (*System) Stop ¶

func (sys *System) Stop()

Source Files ¶

View all Source files

Directories ¶

Path	Synopsis
cmd
config Package config is used to parse config Usage: import(	Package config is used to parse config Usage: import(
data
collector
history
http
request
surfer surfer是一款Go语言编写的高并发web下载器，支持 GET/POST/HEAD 方法及 http/https 协议，同时支持固定UserAgent自动保存cookie与随机大量UserAgent禁用cookie两种模式，高度模拟浏览器行为，可实现模拟登录等功能。	surfer是一款Go语言编写的高并发web下载器，支持 GET/POST/HEAD 方法及 http/https 协议，同时支持固定UserAgent自动保存cookie与随机大量UserAgent禁用cookie两种模式，高度模拟浏览器行为，可实现模拟登录等功能。
surfer/agent Package agent generates user agents strings for well known browsers and for custom browsers.	Package agent generates user agents strings for well known browsers and for custom browsers.
surfer/example command
mission
pinyin
pipeline 数据收集	数据收集
pool 通用资源池，动态增加资源实例，并支持空闲资源定时回收功能。	通用资源池，动态增加资源实例，并支持空闲资源定时回收功能。
reptilian
spider
utils

?	: This menu
/	: Search site
f or F	: Jump to
y or Y	: Canonical URL