首页
中文
首页
# 爬取蜜柚集市 文件结构 |____tag_links 分类页的地址 | |____pc_tag_links 电脑端的分类页面 | | |____<分类明细> 每个分类的单独信息 | |____h5_tag_links 手机端的分类页面 | | |____<分类明细> 每个分类的单独信息 | |____<分类明细> 每个分类的单独信息 |____goods 和tag_links平级，放的是商品信息 | |____<标签明细> 每个商品单独信息 项目主要就是针对蜜柚集市的批量爬取操作，我们需要将商场中的分页和不同类别的商品信息爬出来。 爬取的数据内容主要包括商品的名称、价格、销量、库存、分类标签、图片、商品描述等等信息。 针对不同的分类标签，我们通过分构建不同的分类链接，然后采用正则表达式解析每一个页面，收集每一个产品的链接，并且针对每一个产品的链接，分别再去蜜柚集市上爬取相应的产品信息。 我们的主要爬取策略就是循环遍历每一个产品的链接，然后通过发送网络请求，获取产品的详细信息，存储到不同的数据文件夹。其中，我们主要使用了正则表达式来解析网页，从而获取到需要的数据信息。 该项目可以帮助我们快速的收集蜜柚集市中的商品信息，可以帮助我们分析蜜柚集市的商品销售情况，也可以帮助我们进行竞品分析，从而帮助改善我们的商品展示和销售策略。
