淘寶寶貝鏈接url分析該怎么做

關注：92 發布時間：2022-01-02 11:24:01

一、整體思路

1、首先你需要一個ip代理池

2、使用本機ip將淘寶中基本的商品分類抓取下來

頁面源鏈接：https://www.taobao.com/tbhome/page/market-list

從頁面源鏈接中解析到的url形如下：https://s.taobao.com/search?q=羽絨服&style=grid

3、將諸如此類的urlhttps://s.taobao.com/search?q=羽絨服&style=grid作為任務隊列，使用多線程對其進行抓取與解析(使用代理ip),解析的內容為第4點

4、我們需要分析每一種類的商品在淘寶中大概具有多少數量，為此我解析出帶有頁面參數的url，在第3點中url的基礎上：https://s.taobao.com/search?q=羽絨服&style=grid&s=44，在瀏覽器中打開url可發現此頁面為此種類衣服的第二頁

5、我們得到了每一種商品帶有頁面參數的url，意味著我們可以得到此類商品中全部或部分的商品id，有了商品id，我們就可以進入商品詳情頁抓取我們想要的數據了

6、為了實現第5點，我們先將第4點中抓取到的url全部存儲進mysql中

7、從mysql中將待抓取url全部取出，存儲到一個隊列中，使用多線程對此共享隊列進行操作，使用代理ip從待解析url中解析出本頁面中包含的商品id，并構建商品詳情頁url

8、在第7點中解析商品id的時候，同時使用布隆過濾器，對重復id進行過濾，并將已經抓取過的url任務放入redis緩存中，等達到合適的閾值時，將存儲在mysql中對應的url行記錄中的flag置為true，表示此url已經被抓取過，等到下一次重啟系統，可以不用對此url進行抓取

二、實現細節

我們先從ip代理池說起，在這個項目中所運用到的ip代理池與我在java網絡爬蟲(十一)–重構定時爬取以及ip代理池(多線程+redis+代碼優化)這一篇博客中所講述的ip代理池的實現思想有一些細小的差別。

淘寶寶貝鏈接url分析

三、監控線程

這個線程的主要作用是將redis數據庫中緩存的，已經成功解析過的任務，將其對應mysql中所在的行記錄中的flag位設置為true。

一些賣家需要把寶貝放在淘寶站外的網站上推廣，這個時候就需要賣家提取無線的鏈接地址，大家也可以登錄淘寶，進入賣家中心任意寶貝提取url鏈接哦!

淘寶寶貝鏈接url分析

猜你喜歡