使用Python爬虫获取Shopee店铺的所有商品？

本文链接：https://blog.csdn.net/one6688/article/details/146396557

在跨境电商领域，Shopee作为东南亚及中国台湾地区领先的电商平台，拥有海量的商品信息。无论是进行市场调研、数据分析，还是寻找热门商品，获取Shopee店铺的所有商品信息都是一项极具价值的任务。然而，手动浏览和整理这些信息显然是低效且容易出错的。幸运的是，通过编写Python爬虫程序，我们可以高效地完成这一任务。本文将详细介绍如何利用Python爬虫获取Shopee店铺的所有商品信息，并提供完整的代码示例。

一、为什么选择Python爬虫？

Python因其简洁的语法和强大的库支持，成为爬虫开发的首选语言之一。以下是Python爬虫的几个优势：

丰富的库支持
Python拥有强大的第三方库，如requests用于发送网络请求，BeautifulSoup用于解析HTML页面，pandas用于数据处理和存储。
易学易用
Python语法简洁，易于上手，适合初学者快速入门。
强大的社区支持
Python拥有庞大的开发者社区，遇到问题时可以轻松找到解决方案。

二、准备工作

在开始编写爬虫之前，我们需要做好以下准备工作：

Python环境
确保你的电脑上安装了Python（推荐使用Python 3.8及以上版本）。
安装必要的库
我们需要以下Python库：
- requests：用于发送HTTP请求。
- pandas：用于将数据存储为表格格式，方便后续分析。
安装这些库非常简单，只需要运行以下命令即可：

bash
```
pip install requests pandas
```

三、代码实现

1. 发送HTTP请求获取商品列表

Shopee提供了API接口用于获取店铺的所有商品。通过店铺ID，我们可以发送请求并获取商品列表。

示例代码：

Python

import requests
import pandas as pd

def fetch_shopee_shop_products(shop_id, limit=100, offset=0):
    url = f"https://shopee.tw/api/v2/shop/get_items?shopid={shop_id}&limit={limit}&offset={offset}"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
        "Accept": "application/json"
    }
    
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.json()
    else:
        print(f"请求失败，状态码：{response.status_code}")
        return None

def save_products_to_csv(products, file_path):
    product_details = []
    for item in products:
        product_details.append({
            "商品名称": item.get("name", ""),
            "价格": item.get("price", 0) / 100000,  # Shopee价格单位为分
            "库存": item.get("stock", 0),
            "销量": item.get("sold", 0),
            "商品链接": f"https://shopee.tw/{item.get('name', '')}-i.{item.get('shopid', '')}.{item.get('itemid', '')}"
        })
    
    df = pd.DataFrame(product_details)
    df.to_csv(file_path, index=False, encoding="utf-8-sig")
    print(f"商品列表已保存到 {file_path}")

if __name__ == "__main__":
    shop_id = "123456789"  # 替换为实际店铺ID
    output_file = "shopee_shop_products.csv"
    
    all_products = []
    offset = 0
    limit = 100

    while True:
        data = fetch_shopee_shop_products(shop_id, limit, offset)
        if not data or not data.get("items"):
            break
        all_products.extend(data.get("items", []))
        offset += limit

    save_products_to_csv(all_products, output_file)