火車采集器即火車頭采集器，是一款功能強(qiáng)大的網(wǎng)頁(yè)數(shù)據(jù)采集工具，它廣泛應(yīng)用于網(wǎng)頁(yè)采集，網(wǎng)站采集，數(shù)據(jù)采集等等，可以批量把網(wǎng)上的文字、圖片、文件采集到本地，同時(shí)還具備采集-發(fā)布的功能，讓建站變的十分簡(jiǎn)單！功能強(qiáng)大】配置靈活是它的特點(diǎn)，只要你看上的網(wǎng)頁(yè)都可以批量采集。通常來(lái)說(shuō)，火車采集器免費(fèi)版功能已經(jīng)足夠大家使用！

火車采集器軟件特色

1、通用性強(qiáng)

無(wú)論新聞、論壇、視頻、黃頁(yè)、圖片、下載類網(wǎng)站，只要通過(guò)瀏覽器能看到的結(jié)構(gòu)化的內(nèi)容，通過(guò)指定匹配規(guī)則，都能采集到您所需要的內(nèi)容。

2、穩(wěn)定、高效

五年磨一劍，軟件不斷更新進(jìn)步，采集速度快，性能穩(wěn)定，占用資源少。

3、擴(kuò)展性強(qiáng)、適用范圍廣

自定義web發(fā)布，自定義主流的數(shù)據(jù)庫(kù)的保存和發(fā)布，自定義本地php及.net外部編程接口處理數(shù)據(jù)，讓數(shù)據(jù)都能為你所用。

火車采集器菜單功能

1.新建分組

新建一個(gè)任務(wù)分組，選擇所屬分組，確定分組名稱和備注。

2.新建任務(wù)

確定所屬分組，新建一個(gè)任務(wù)，填寫任務(wù)名稱并保存。

3.Web發(fā)布配置

Web發(fā)布配置定義了如何登陸一個(gè)網(wǎng)站以及向該網(wǎng)站提交數(shù)據(jù)。

主要涉及到登錄信息的獲取，網(wǎng)站編碼設(shè)定，欄目列表的獲取，以及使用數(shù)據(jù)測(cè)試發(fā)布效果。

4.Web發(fā)布模塊

可以定義網(wǎng)站登錄，獲取欄目列表，獲取網(wǎng)頁(yè)隨機(jī)值，內(nèi)容發(fā)布參數(shù)，以及上傳文件，構(gòu)造發(fā)布數(shù)據(jù)等高級(jí)功能。

5.數(shù)據(jù)庫(kù)發(fā)布配置

數(shù)據(jù)庫(kù)發(fā)布配置定義了數(shù)據(jù)庫(kù)鏈接信息的設(shè)置以及數(shù)據(jù)庫(kù)模塊的選擇。

6.數(shù)據(jù)庫(kù)發(fā)布模塊

用于編輯數(shù)據(jù)庫(kù)的發(fā)布模塊，方便我們將數(shù)據(jù)發(fā)布到配置好的數(shù)據(jù)庫(kù)中。

火車采集器可選mysql、sqlserver、oracle、access四種數(shù)據(jù)庫(kù)類型，在文本輸入框中填寫sql語(yǔ)句

（需有數(shù)據(jù)庫(kù)相關(guān)知識(shí)），并可使用標(biāo)簽替換相應(yīng)數(shù)據(jù)。也可在采集器模塊文件夾中加載某一模塊進(jìn)行編輯。

7.計(jì)劃任務(wù)

設(shè)置列表中采集任務(wù)的啟動(dòng)計(jì)劃，可每間隔、每天、每周、僅一次、或自定義Cron表達(dá)式，

（Cron表達(dá)式的寫法可參考相關(guān)術(shù)語(yǔ)中的介紹）。保存設(shè)置后，任務(wù)即可按照設(shè)置執(zhí)行。

8.插件管理

插件是可以用來(lái)擴(kuò)展火車采集器功能的程序

火車采集器V9支持PHP源碼、C#源碼、C#類庫(kù)三種類型的插件，

可用于擴(kuò)展http請(qǐng)求、內(nèi)容處理和文件下載的功能，并可以分別進(jìn)行測(cè)試。

9.http二級(jí)代理

網(wǎng)絡(luò)中的服務(wù)器，可以讓網(wǎng)絡(luò)用戶去取得所需要的網(wǎng)絡(luò)信息。

代理的功能有可以突破自身ip的訪問(wèn)限制訪問(wèn)國(guó)外站點(diǎn)，訪問(wèn)一些單位或團(tuán)體內(nèi)部資源，

突破電信的ip封鎖和隱藏真實(shí)的ip等。

火車采集器V9支持http代理、socket4和socket5代理。

10.http模擬請(qǐng)求

可以設(shè)置如何發(fā)起一個(gè)http請(qǐng)求，包括設(shè)置請(qǐng)求信息，返回頭信息。并具有自動(dòng)提交的功能。

火車采集器基本功能

1.規(guī)則自定義——通過(guò)采集規(guī)則的定義，可以搜索幾乎任何類型的網(wǎng)站采集信息。
2.多任務(wù)，多線程-可以同時(shí)獲取多個(gè)信息，每個(gè)任務(wù)可以使用多個(gè)線程。
3.所見即所得-任務(wù)采集過(guò)程中所見即所得，過(guò)程中遍歷的鏈接信息.采集信息.錯(cuò)誤信息等將及時(shí)反映在軟件界面上。
4.數(shù)據(jù)保存——數(shù)據(jù)在采集的同時(shí)自動(dòng)保存到相關(guān)數(shù)據(jù)庫(kù)中，數(shù)據(jù)結(jié)構(gòu)可以自動(dòng)適應(yīng)。該軟件可以根據(jù)采集規(guī)則自動(dòng)創(chuàng)建數(shù)據(jù)庫(kù)，以及表和字段，也可以通過(guò)導(dǎo)庫(kù)靈活地將數(shù)據(jù)保存到客戶現(xiàn)有的數(shù)據(jù)庫(kù)結(jié)構(gòu)中。
5.斷點(diǎn)續(xù)采-信息收集任務(wù)可在停止后從斷點(diǎn)開始繼續(xù)收集，從此您不再擔(dān)心您的收集任務(wù)意外中斷。
6.網(wǎng)站登錄-支持網(wǎng)站Cookie，支持網(wǎng)站可視化登錄，即使登錄時(shí)需要驗(yàn)證碼的網(wǎng)站也可以收集。
7.計(jì)劃任務(wù)——通過(guò)這個(gè)功能，您可以定期、定量或循環(huán)地執(zhí)行您的采集任務(wù)。
8.采集范圍限制——采集范圍可根據(jù)采集深度和網(wǎng)站標(biāo)識(shí)進(jìn)行限制。
9.文件下載-可以將采集到的二進(jìn)制文件(如圖片、音樂(lè)、軟件、文檔等)下載到本地磁盤或采集結(jié)果數(shù)據(jù)庫(kù)中。
10.結(jié)果替換-可以根據(jù)規(guī)則將收集到的結(jié)果替換為您定義的內(nèi)容。
11.條件保存——那些信息保存和過(guò)濾可以根據(jù)某些條件來(lái)決定。
12.過(guò)濾重復(fù)內(nèi)容-軟件可以根據(jù)用戶設(shè)置和實(shí)際情況自動(dòng)刪除重復(fù)內(nèi)容和重復(fù)網(wǎng)站。
13.特殊鏈接識(shí)別-使用該功能可以識(shí)別JavaScript動(dòng)態(tài)生成的鏈接或其他更奇怪的連接。
14.數(shù)據(jù)發(fā)布-可以通過(guò)自定義界面將收集到的結(jié)果數(shù)據(jù)發(fā)布到任何內(nèi)容管理系統(tǒng)和指定數(shù)據(jù)庫(kù)中。目前支持的目標(biāo)發(fā)布媒體包括：數(shù)據(jù)庫(kù)(access、sqlserver、mysql、oracle)、靜態(tài)htm文件。
15.預(yù)留編程接口-定義多個(gè)編程接口，用戶可以在事件中使用PHP和C#語(yǔ)言進(jìn)行編程，擴(kuò)展采集功能。

火車采集器特色功能

1、支持所有網(wǎng)站編碼：完美支持采集所有編碼格式的網(wǎng)頁(yè),程序還可以自動(dòng)識(shí)別網(wǎng)頁(yè)編碼。

2、多種發(fā)布方式：支持目前所有主流和非主流的CMS,BBS等網(wǎng)站程序,通過(guò)系統(tǒng)的發(fā)布模塊能實(shí)現(xiàn)采集器和網(wǎng)站程序間的完美結(jié)合。

3、全自動(dòng)：無(wú)人值守工作，配置好程序后，程序?qū)⒁罁?jù)您的設(shè)置自動(dòng)運(yùn)行，完全無(wú)需人工干預(yù)。

4、本地編輯：本地可視化編輯已采集的數(shù)據(jù)。

5、采集測(cè)試：這是其它任何同類采集軟件所不能比的，程序支持直接查看采集結(jié)果并測(cè)試發(fā)布。

6、管理方便：使用站點(diǎn)+任務(wù)方式管理采集節(jié)點(diǎn)，任務(wù)支持批量操作，再多的數(shù)據(jù)管理也很輕松。

更新日志：

V10.1正式版

1.修復(fù)：添加了HTTP請(qǐng)求的頭信息之后，再添加多頁(yè)，頭信息的所屬頁(yè)會(huì)全部清空。
2.新增：表格類型數(shù)據(jù)自動(dòng)分析，自動(dòng)添加字段，也可以刪除字段。自動(dòng)勾選循環(huán)。
3.修復(fù)：復(fù)制規(guī)則之后，規(guī)則排重庫(kù)處為空白，無(wú)法建立新的排重庫(kù)。
4.完善：刪除任務(wù)的時(shí)候，同時(shí)刪除該任務(wù)的所有數(shù)據(jù)，并且在提示信息框加上提示信息。
5.修復(fù)：文件下載jpeg格式自動(dòng)轉(zhuǎn)換jpg。
6.優(yōu)化：提取json時(shí)若提取表達(dá)式里面屬性不存在導(dǎo)致其他數(shù)據(jù)提取失敗。

V10.0正式版

1.數(shù)據(jù)獲取中支持調(diào)用其他標(biāo)簽的值作為截取條件。
2.數(shù)據(jù)獲取支持CSS selector，很多網(wǎng)頁(yè)的css 的屬性唯一，此功能更利于批量從網(wǎng)頁(yè)中提取數(shù)據(jù)。
3.增加關(guān)聯(lián)區(qū)域功能，可以截取網(wǎng)頁(yè)中指定區(qū)域內(nèi)容進(jìn)行采集處理。
4.批量網(wǎng)址增加區(qū)間變化的網(wǎng)址增加方式，適應(yīng)更多的網(wǎng)頁(yè)地址變化方式。
5.批量設(shè)置增加新增加功能的批量設(shè)置。
6.運(yùn)行統(tǒng)計(jì)日志設(shè)置添加默認(rèn)關(guān)閉功能，可在設(shè)置中選擇開啟或關(guān)閉。
7.oss相關(guān)問(wèn)題修復(fù)。
8.網(wǎng)址空格問(wèn)題導(dǎo)致列表頁(yè)標(biāo)簽錯(cuò)誤問(wèn)題修復(fù)。
9.下載相關(guān)問(wèn)題修復(fù)。
10.修復(fù)“任務(wù)數(shù)據(jù)批量處理”中刪除為空記錄無(wú)效的問(wèn)題。
11.文件下載插件增加文件下載后處理接口。