Python3網絡爬蟲開發實戰 第2版
作 者:崔慶才 著
出 版 社:人民郵電出版社
出版日期:2021年11月01日
頁 數:928
裝 幀:平裝
ISBN:9787115577092
主編推薦
1.Python 之父 Guido van Rossum 推薦的爬蟲入門書，第 1 版銷量近 100000 冊； 2.微軟中國大數據工程師、博客文章過百萬的博主靜覓力作； 3.新增異步爬蟲、JavaScript 逆向、App 逆向、智能網頁解析、深度學習識別驗證碼、Kubernetes 運維及部署等知識點； 4.相比於第一版，為每個知識點的實戰項目配備了針對性的練習平台，避免了案例過期的問題。
目錄
●第1章爬蟲基礎1
1．1HTTP基本原理1
1．2Web網頁基礎12
1．3爬蟲的基本原理19
1．4Session和Cookie21
1．5代理的基本原理24
1．6多線程和多進程的基本原理26
第2章基本庫的使用29
2．1urllib的使用29
2．2requests的使用47
2．3正則表達式63
2．4httpx的使用73
2．5基礎爬蟲案例實戰78
第3章網頁數據的解析提取90
3．1XPath的使用90
3．2Beautiful Soup的使用99
3．3pyquery的使用113
3．4parsel的使用124
第4章數據的存儲128
4．1TXT文本文件存儲128
4．2JSON文件存儲130
4．3CSV文件存儲134
4．4MySQL存儲138
4．5MongoDB文檔存儲144
4．6Redis緩存存儲151
4．7Elasticsearch搜索引擎存儲159
4．8RabbitMQ的使用166
第5章Ajax數據爬取174
5．1什麼是Ajax174
5．2Ajax分析方法176
5．3Ajax分析與爬取實戰179
第6章異步爬蟲191
6．1協程的基本原理191
6．2aiohttp的使用201
6．3aiohttp異步爬取實戰207
第7章JavaScript動態渲染頁面爬取212
7．1Selenium的使用212
7．2Splash的使用226
7．3Pyppeteer的使用242
7．4Playwright的使用257
7．5Selenium爬取實戰269
7．6Pyppeteer爬取實戰276
7．7CSS位置偏移反爬案例分析與爬取實戰282
7．8字體反爬案例分析與爬取實戰287
第8章驗證碼的識別293
8．1使用OCR技術識別圖形驗證碼293
8．2使用OpenCV識別滑動驗證碼的缺口298
8．3使用深度學習識別圖形驗證碼304
8．4使用深度學習識別滑動驗證碼的缺口309
8．5使用打碼平台識別驗證碼316
8．6手機驗證碼的自動化處理324
第9章代理的使用331
9．1代理的設置331
9．2代理池的維護340
9．3付費代理的使用351
9．4ADSL撥號代理的搭建方法357
9．5代理反爬案例爬取實戰365
第10章模擬登錄373
10．1模擬登錄的基本原理373
10．2基於Session和Cookie的模擬登錄爬取實戰376
10．3基於JWT的模擬登錄爬取實戰381
10．4大規模賬號池的搭建385
第11章JavaScript逆向爬蟲397
11．1網站加密和混淆技術簡介397
11．2瀏覽器調試常用技巧413
11．3JavaScript Hook的使用430
11．4無限debugger的原理與繞過440
11．5使用Python模擬執行JavaScript445
11．6使用Node． js模擬執行JavaScript451
11．7瀏覽器環境下JavaScript的模擬執行454
11．8AST技術簡介460
11．9使用AST技術還原混淆代碼472
11．10特殊混淆案例的還原480
11．11WebAssembly案例分析和爬取實戰490
11．12JavaScript逆向技巧總結498
11．13JavaScript逆向爬取實戰505
第12章App數據的爬取530
12．1Charles抓包工具的使用530
12．2mitmproxy抓包工具的使用538
12．3mitmdump實時抓包處理544
12．4Appium的使用551
12．5基於Appium的App爬取實戰562
12．6Airtest的使用568
12．7基於Airtest的App爬取實戰585
12．8手機群控爬取實戰591
12．9雲手機的使用594
第13章Android逆向603
13．1jadx的使用603
13．2JEB的使用615
13．3Xposed框架的使用624
13．4基於Xposed的爬取實戰案例635
13．5Frida的使用643
13．6SSL Pining問題的解決方案650
13．7Android脫殼技術簡介與實戰657
13．8利用IDA Pro靜態分析和動態調試so文件664
13．9基於Frida-RPC模擬執行so文件680
13．10基於AndServer-RPC模擬執行so文件685
13．11基於unidbg模擬執行so文件692
第14章頁面智能解析700
14．1頁面智能解析簡介700
14．2詳情頁智能解析算法簡介707
14．3詳情頁智能解析算法的實現714
14．4列表頁智能解析算法簡介722
14．5列表頁智能解析算法的實現727
14．6如何智能分辨列表頁和詳情頁735
第15章Scrapy框架的使用739
15．1Scrapy框架介紹739
15．2Scrapy入門743
15．3Selector的使用754
15．4Spider的使用759
15．5Downloader Middleware的使用766
15．6Spider Middleware的使用775
15．7Item Pipeline的使用781
15．8Extension的使用792
15．9Scrapy對接Selenium795
15．10Scrapy對接Splash801
15．11Scrapy對接Pyppeteer806
15．12Scrapy規則化爬蟲813
15．13Scrapy實戰827
第16章分佈式爬蟲840
16．1分佈式爬蟲理念840
16．2Scrapy-Redis原理和源碼解析842
16．3基於Scrapy-Redis的分佈式爬蟲實現847
16．4基於Bloom Filter進行大規模去重851
16．5基於RabbitMQ的分佈式爬蟲859
第17章爬蟲的管理和部署862
17．1Scrapyd和ScrapydAPI的使用862
17．2Scrapyd-Client的使用867
17．3Gerapy爬蟲管理框架的使用869
17．4將Scrapy項目打包成Docker鏡像873
17．5Docker Compose的使用878
17．6Kubernetes的使用880
17．7用Kubernetes部署和管理Scrapy爬蟲888
17．8Scrapy分佈式爬蟲的數據統計方案899
17．9基於Prometheus和Grafana的分佈式爬蟲監控方案904
附錄爬蟲與法律917
內容簡介
本書介紹瞭如何利用Python3開發網絡爬蟲。本書為第2版，相比於第1版，為每個知識點的實戰項目配備了針對性的練習平台，避免了案例過期的問題。另外，主要增加了異步爬蟲、JavaScript逆向、App逆向、頁面智能解析、深度學習識別驗證碼、Kubernetes運維及部署等知識點，同時也對各個爬蟲知識點涉及的請求、存儲、解析、測試等工具進行了豐富和更新。本書適合Python程序員閱讀。
Python 3反爬蟲原理與繞過實戰
作 者:韋世東 著 王軍花 編
出 版 社:人民郵電出版社
出版日期:2020年01月01日
頁 數:377
裝 幀:平裝
ISBN:9787115528735
主編推薦
《Python 3 網絡爬蟲開發實戰》作者、微軟小冰工程師崔慶才作序，騰訊、馬蜂窩工程師傾力推薦。 【乾貨滿滿】爬蟲工程師不可錯過的“武功秘籍”，內容包括但不限於Cookie 反爬蟲、WebSocket 反爬蟲、字體反爬蟲、WebDriver 反爬蟲、App 反爬蟲、驗證碼反爬蟲。 【反爬蟲原理+爬蟲實戰】從實戰出發，印證國內互聯網企業內部加密原理，側重講解反爬蟲的原理以及繞過方法。 【21個反爬蟲示例】結合練習平台 Steamboat，幫助讀者隨時復現書中的 21個爬蟲示例，鞏固所學知識。
目錄
●第1章開發環境配置1
1.1操作系統的選擇1
1.1.1Ubuntu簡介1
1.1.2VirtualBox的安裝2
1.1.3安裝Ubuntu3
1.1.4全屏設置8
1.1.5Python設置9
1.2練習平台Steamboat10
1.2.1安裝Docker11
1.2.2安裝Steamboat12
1.2.3Steamboat使用說明14
1.3第三方庫的安裝15
1.3.1Requests15
1.3.2Selenium15
1.3.3瀏覽器驅動16
1.3.4Splash18
1.3.5Puppeteer18
1.3.6PyTesseract20
1.4常用軟件的安裝21
1.4.1nginx21
1.4.2Charles22
1.4.3PC端SSL證書23
1.4.4iOS系統的證書設置26
1.4.5Andriod模擬器的安裝與證書設置27
1.4.6Postman29
1.4.7GoogleChrome32
1.4.8JADX33
1.5深度學習環境配置35
1.5.1NVIDIA顯卡驅動安裝35
1.5.2CUDAToolkit的安裝38
1.5.3cuDNN的安裝40
1.5.4深度學習庫PyTorch41
1.5.5深度學習框架Darknet42
1.5.6圖片標註工具LabelImg43
1.6Node.js環境配置44
1.6.1Node.js的安裝44
1.6.2UglifyJS的安裝45
第2章Web網站的構成和頁面渲染47
2.1nginx服務器47
2.1.1nginx的信號48
2.1.2nginx配置文件49
2.1.3簡單的代理服務50
2.1.4nginx模塊與指令52
2.1.5nginx日誌57
2.1.6小結58
2.2瀏覽器58
2.2.1瀏覽器的主要結構59
2.2.2頁面渲染60
2.2.3HTMLDOM62
2.2.4瀏覽器對象BOM65
2.2.5小結70
2.3網絡協議71
2.3.1認識HTTP71
2.3.2資源與資源標識符72
2.3.3HTTP請求與響應74
2.3.4Cookie77
2.3.5了解HTTPS80
2.3.6認識WebSocket81
2.3.7WebSocket握手81
2.3.8數據傳輸與數據幀83
2.3.9WebSocket連接85
2.3.10連接保持87
2.3.11小結88
本章總結88
第3章爬蟲與反爬蟲89
3.1 *態網頁與網頁源代碼89
3.2爬蟲知識回顧90
3.3反爬蟲的概念與定義95
本章總結96
第4章信息校驗型反爬蟲97
4.1User-Agent反爬蟲97
4.1.1User-Agent反爬蟲繞過實戰97
4.1.2User-Agent反爬蟲的原理與實現100
4.1.3小結103
4.2Cookie反爬蟲103
4.2.1Cookie反爬蟲繞過實戰103
4.2.2Cookie反爬蟲原理與實現109
4.2.3Cookie與JavaScript結合110
4.2.4用戶過濾112
4.2.5小結113
4.3簽名驗證反爬蟲114
4.3.1簽名驗證反爬蟲繞過實戰114
4.3.2簽名驗證反爬蟲原理與實現121
4.3.3有道翻譯反爬蟲案例123
4.3.4小結125
4.4WebSocket握手驗證反爬蟲125
4.5WebSocket消息校驗反爬蟲129
4.5.1WebSocket消息校驗反爬蟲示例130
4.5.2樂魚體育反爬蟲案例132
4.6WebSocketPing反爬蟲133
本章總結134
第5章動態渲染反爬蟲135
5.1常見的動態渲染反爬蟲案例135
5.1.1自動執行的異步請求案例135
5.1.2點擊事件和計算138
5.1.3下拉加載和異步請求142
5.1.4小結144
5.2動態渲染的通用解決辦法144
5.2.1Selenium套件144
5.2.2異步渲染庫Puppeteer148
5.2.3異步渲染服務Splash150
5.2.4通用不一定適用154
5.2.5渲染工具知識擴展156
5.2.6小結160
本章總結160
第6章文本混淆反爬蟲161
6.1圖片偽裝反爬蟲161
6.1.1圖片偽裝反爬蟲繞過實戰161
6.1.2廣西人才網反爬蟲案例164
6.1.3小結165
6.2CSS偏移反爬蟲165
6.2.1CSS偏移反爬蟲繞過實戰166
6.2.2去哪兒網反爬蟲案例172
6.2.3小結174
6.3SVG映射反爬蟲174
6.3.1SVG映射反爬蟲繞過實戰174
6.3.2大眾點評反爬蟲案例177
6.3.3SVG反爬蟲原理179
6.3.4小結186
6.4字體反爬蟲186
6.4.1字體反爬蟲示例186
6.4.2字體文件WOFF189
6.4.3字體反爬蟲繞過實戰196
6.4.4小結198
6.5文本混淆反爬蟲通用解決辦法199
6.5.1光學字符識別OCR199
6.5.2PyTesseract的缺點201
6.5.3文字識別API202
6.5.4小結206
本章總結206
第7章特徵識別反爬蟲207
7.1WebDriver識別207
7.1.1WebDriver識別示例207
7.1.2WebDriver識別原理210
7.1.3WebDriver識別的繞過方法211
7.1.4淘寶網WebDriver案例214
7.1.5小結215
7.2瀏覽器特徵215
7.3爬蟲特徵219
7.3.1訪問頻率繞過實戰219
7.3.2訪問頻率的原理與實現222
7.3.3瀏覽器指紋知識擴展223
7.3.4淘寶網瀏覽器指紋案例227
7.3.5小結228
7.4隱藏鏈接反爬蟲228
7.4.1隱藏鏈接反爬蟲示例228
7.4.2隱藏鏈接反爬蟲原理與實現231
7.4.3小結233
本章總結234
第8章App反爬蟲235
8.1App抓包235
8.1.1HTTP抓包示例235
8.1.2掌上英雄聯盟抓包案例（HTTP）240
8.1.3京東商城抓包案例（HTTPS）243
8.1.4小結246
8.2APK文件反編譯246
8.2.1App簽名驗證反爬蟲示例246
8.2.2APK文件反編譯實戰248
8.2.3小結251
8.3代碼混淆反爬蟲251
8.3.1Android代碼混淆原理252
8.3.2掘金社區App代碼混淆案例255
8.3.3小結257
8.4App應用加固知識擴展257
8.5了解應用程序自動化測試工具260
8.5.1了解Appium260
8.5.2了解AirtestProject260
8.5.3小結262
本章總結262
第9章驗證碼263
9.1字符驗證碼263
9.1.1字符驗證碼示例263
9.1.2實現字符驗證碼266
9.1.3深度學習的概念269
9.1.4卷積神經網絡的概念272
9.1.5使用卷積神經網絡預測驗證碼276
9.1.6小結286
9.2計算型驗證碼286
9.2.1計算型驗證碼示例286
9.2.2實現計算型驗證碼288
9.2.3小結291
9.3滑動驗證碼291
9.3.1滑動驗證碼示例291
9.3.2實現滑動驗證碼295
9.3.3小結298
9.4滑動拼圖驗證碼298
9.4.1滑動拼圖驗證碼示例299
9.4.2實現滑動拼圖驗證碼302
9.4.3難度升級307
9.4.4圖片中的缺口位置識別308
9.4.5小結310
9.5文字點選驗證碼310
9.5.1文字點選驗證碼示例310
9.5.2實現文字點選驗證碼312
9.5.3目標檢測的概念316
9.5.4深度學習實現文字定位317
9.5.5批量檢測與坐標輸出323
9.5.6小結330
9.6鼠標軌蹟的檢測和原理330
9.7驗證碼產品賞析336
9.7.1滑動驗證碼336
9.7.2圖標驗證碼337
9.7.3空間推理驗證碼338
9.7.4小結338
本章總結338
第10章綜合知識339
10.1編碼與加密339
10.1.1ASCII編碼339
10.1.2詳解Base64342
10.1.3基於編碼的反爬蟲設計344
10.1.4MD5消息摘要算法347
10.1.5對稱加密與AES352
10.1.6非對稱加密與RSA357
10.1.7小結360
10.2JavaScript代碼混淆360
10.2.1常見的混淆方法361
10.2.2混淆代碼的還原363
10.2.3混淆原理365
10.2.4實現一個簡單的混淆器366
10.2.5小結369
10.3前端禁止事件369
10.3.1禁止鼠標事件370
10.3.2禁止鍵盤事件371
10.3.3小結372
10.4法律法規372
10.4.1數據安全管理辦法徵求意見稿374
10.4.2爬蟲協議Robots375
10.4.3與爬蟲相關的法律法規376
10.4.4小結377
本章總結377
內容簡介
本書首先介紹了開發環境的配置，接著討論了Web網站的構成和頁面渲染、 *態網頁和靜態網頁對爬蟲造成的影響，緊接著詳細介紹了信息校驗型反爬蟲、動態渲染反爬蟲、文本混淆反爬蟲知識、特徵識別反爬蟲的原理、實現和繞過，然後概覽了App數據爬取的關鍵和常用的反爬蟲手段，最後介紹了常見的編碼和加密原理、JavaScript代碼混淆知識、前端禁止事件以及與爬蟲相關的法律知識和風險點。
作者簡介
韋世東 著 王軍花 編
韋世東，資深爬蟲工程師，2019年華為雲·雲享專家，掘金社區優秀作者，GitChat認證作者，夜幕團隊（NightTeam）成員。擁有七年互聯網從業經驗，擅長反爬蟲的設計和繞過技巧。
