2013年1月4日

網路爬蟲服務 Grepsr 與 80legs 只要付錢就幫你把資料搬回家

自己寫網路爬蟲(web crawler)並不難,但是要把一個網站的幾千筆網頁掃回家,並不是三兩下就能做到,畢竟大量對一個網站存取資料,很容易被認定是惡意行為,網管肯定覺得你心懷不軌;最重要的是,所有存取都來自同一個來源(相同 IP 或網段),很容易就被擋在牆外 : )

但是要建立一個遍佈全球各地的代理伺服器網路,能夠在一聲令下就成為任你操縱的爬蟲大軍,這可不是三兩下就能完成的任務。

有鑑於此等…爬蟲需求崛起,腦筋動得快的新創公司已經把爬蟲變成 SaaS 的雲端服務;只要你願意付錢,就能找來一群爬蟲大軍幫你把需要的資料搬回家。

Grepsr
http://www.grepsr.com/
單次收費 USD $129 元起


80legs
http://80legs.com/
基本方案免費;進階每月 $29 元起


1 則留言:

  1. chongdata.com 是一个网络爬虫~可以大规模提取网页关键字,现在免费试用,欢迎试用, 有凡客和淘宝的价格提取案例

    回覆刪除

lyhcode by lyhcode
歡迎轉載,請務必註明出處!