網絡爬蟲(又稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者)，是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

互聯網是由一個一個的超鏈接組成的，從一個網頁的鏈接可以跳到另一個網頁，在新的網頁里，又有很多鏈接。理論上講，從任何一個網頁開始，不斷點開鏈接、鏈接的網頁的鏈接，就可以走遍整個互聯網!這個過程是不是像蜘蛛沿著網一樣爬?這也是“爬蟲”名字的由來。

在了解爬蟲的過程中，由于對這項技術缺乏系統了解，“小白”們難免會被紛繁生僻的知識點折騰地眼花繚亂、暈頭轉向。有的人打算先搞懂基本原理和工作流程，有的人計劃從軟件的基本語法入門，也有人打算弄懂了網頁文檔再來……在學習抓取網絡信息的道路上，許多人因為中途掉進陷阱最終無功而返。因此，掌握正確的方法的確非常重要。既然爬蟲這么強大，那么爬蟲程序到底可以用來做什么呢?

網絡爬蟲程序可以做的事

1、獲取網頁

獲取網頁可以簡單理解為向網頁的服務器發送網絡請求，然后服務器返回給我們網頁的源代碼，其中通信的底層原理較為復雜，而Python給我們封裝好了urllib庫和requests庫等，這些庫可以讓我們非常簡單的發送各種形式的請求。

2、提取信息

獲取到的網頁源碼內包含了很多信息，想要進提取到我們需要的信息，則需要對源碼還要做進一步篩選。可以選用python中的re庫即通過正則匹配的形式去提取信息，也可以采用BeautifulSoup庫(bs4)等解析源代碼，除了有自動編碼的優勢之外，bs4庫還可以結構化輸出源代碼信息，更易于理解與使用。

3、保存數據

提取到我們需要的有用信息后，需要在Python中把它們保存下來。可以使用通過內置函數open保存為文本數據，也可以用第三方庫保存為其它形式的數據，例如可以通過pandas庫保存為常見的xlsx數據，如果有圖片等非結構化數據還可以通過pymongo庫保存至非結構化數據庫中。

4、調研

比如要調研一家電商公司，想知道他們的商品銷售情況。這家公司聲稱每月銷售額達數億元。如果你使用爬蟲來抓取公司網站上所有產品的銷售情況，那么你就可以計算出公司的實際總銷售額。此外，如果你抓取所有的評論并對其進行分析，你還可以發現網站是否出現了刷單的情況。數據是不會說謊的，特別是海量的數據，人工造假總是會與自然產生的不同。過去，用大量的數據來收集數據是非常困難的，但是現在在爬蟲的幫助下，許多欺騙行為會赤裸裸地暴露在陽光下。

5、刷流量和秒殺

刷流量是python爬蟲的自帶的功能。當一個爬蟲訪問一個網站時，如果爬蟲隱藏得很好，網站無法識別訪問來自爬蟲，那么它將被視為正常訪問。結果，爬蟲“不小心”刷了網站的流量。

除了刷流量外，還可以參與各種秒殺活動，包括但不限于在各種電商網站上搶商品，優惠券，搶機票和火車票。目前，網絡上很多人專門使用爬蟲來參與各種活動并從中賺錢。

這種行為一般稱為“薅羊毛”，這種人被稱為“羊毛黨”。不過使用爬蟲來“薅羊毛”進行盈利的行為實際上游走在法律的灰色地帶，希望大家不要嘗試。