限制爬蟲程序訪問服務器資源和獲取數據的行爲稱爲爬蟲。限制手段包括但不限於請求限制、拒絕響應、客戶端身份驗證、文本混淆和使用動態渲染技術。這些限制根據出發點可以分爲主動型反爬蟲和被動型反爬蟲。
主動型反爬蟲
開發者有意識地使用技術手段區分正常用戶和爬蟲，並限制爬蟲對網站的訪問行爲，如驗證請求頭信息、限制訪問頻率、使用驗證碼等。
被動型反爬蟲
爲了提高用戶體驗或節約資源，用一些技術間接提高爬蟲訪問的行爲，比如數據分段加載、點擊切換標籤頁、鼠標懸停預覽數據等。
多類型爬蟲
除此之外，還可以從特點上對反爬蟲進行更細緻的劃分，如信息校驗型反爬蟲、動態渲染型反爬蟲、文本混淆型反爬蟲、特徵識別型反爬蟲等。需要注意的是，用一種限制現象可以被歸類到不同的反爬蟲類型中，比如通過JavaScript生成隨機字符串並將字符串放在請求頭中發送給服務器，由服務器校驗客戶端身份的這種限制手段即可以說是信息校驗型反爬蟲，又可以說是動態渲染反爬蟲。
網站反爬蟲常見方法
1.通過UA判定
UA即User Agent，它是請求瀏覽器的身份標誌。反爬蟲機制通過判定訪問請求的頭部中沒有帶UA來識別爬蟲，這種判定方法很低級，通常不會將其作爲唯一的判定標準，因爲反反爬蟲非常容易，隨機數UA即可針對。
2.通過Cookie判定
Cookie就是指會員制的帳號密碼登錄驗證，通過分辨這一個帳號在短期內內爬取頻次來判定。這種方法的反反爬蟲也很費勁，需選用多帳戶的方法來爬取。
3.通過訪問頻率判定
爬蟲往往會在短時間內多次訪問目標網站，反爬蟲機制可以通過單個IP訪問的頻率來判斷是否爲爬蟲。這種反爬方式很難反制，只能通過更換IP來解決。
4.通過驗證碼判定
驗證碼是反爬蟲性價比較高的實施方案，反反爬蟲通常需要接入OCR驗證碼識別平台或是利用Tesseract OCR識別，亦或是採用神經網絡訓練識別驗證碼等。
5.動態性頁面加載
採用動態加載的網站往往是爲了方便用戶點哪看哪兒，而爬蟲沒法和頁面進行交互，這就大大增加了爬蟲的難度。
一般說來，用戶去爬取網站信息，都會受到反爬蟲的制約，這樣使得用戶在獲取信息的時候會受到一定的阻礙，而使用代理ip軟體可以徹底解決這一問題。
No comments:
Post a Comment