京东RPA爬虫

需求

商品 ID item_id 
商品链接 item_link 
标题 item_title 
⻔店名称 store 
封⾯ cover_link 
原价 original_cost 
折扣价 discount_cost 
品牌 brand 
型号 type 
评论数 comments

mysql数据库建表

CREATE TABLE IF NOT EXISTS `jd_items` (
  `id` INT NOT NULL AUTO_INCREMENT COMMENT '自增主键',
  `item_id` varchar(255) NOT NULL COMMENT '商品ID',
  `item_link` varchar(255) NOT NULL COMMENT '地址 http开头',
  `store` varchar(64) NOT NULL COMMENT '门店名称',
  `title` varchar(255) NOT NULL COMMENT '商品标题',
  `cover_url` varchar(255) COMMENT '图片URL地址,http开头',
  `ori_price` decimal(10, 2) NOT NULL COMMENT '原价',
  `price` decimal(10, 2) NOT NULL COMMENT '折扣价',
  `brand` varchar(64) COMMENT '品牌',
  `brand_type` varchar(255) COMMENT '品牌型号',
  `comment` varchar(32) COMMENT '评论数',
  `created_at` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '写入时间（自动填充）',
  `updated_at` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间（自动更新）',
  `student` varchar(32) NOT NULL COMMENT '姓名 写中文',
  PRIMARY KEY (`id`) -- 自增字段作为单一主键
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

影刀RPA流程

主流程

获取商品详情子流程

注意：

1. 每一个模块都要做好异常处理
2. 定位网页数据最好使用xpath方法

数据清洗clean子流程

主流程的数据入库

批量插入数据

​ invoke_result是子流程返回的元组，返回的数据都在元组里面。

日志

数据库查询结果