一、问题背景

反向海淘独立站的核心能力是让用户通过粘贴链接、输入关键词、上传图片等多种方式导入商品。代购用户输入商品的方式五花八门：有人粘贴淘宝链接，有人复制1688链接，有人只会复制淘口令，还有人希望上传图片找同款。一套统一的采集入口需要兼容所有场景。本文基于 Taocarts 系统的实践，拆解多源商品采集模块的设计。

二、整体架构

采用策略模式为核心。每种输入源对应一个处理器，所有处理器实现统一的 Parser 接口。入口层接收用户输入后，通过类型识别器判断输入类型，路由到对应的处理器。

java

public interface Parser {

ProductDTO parse(String input);

boolean supports(InputType type);

}

三、淘宝/1688 链接解析实现

核心逻辑是正则匹配提取商品 ID，再调用对应平台的 API 或模拟请求获取详情。

java

public class TaobaoLinkParser implements Parser {

@Override

public ProductDTO parse(String input) {

// 正则提取商品ID:

https://item.taobao.com/item.htm?id=123456789

String pattern = "id=(\d+)";

Matcher matcher = Pattern.compile(pattern).matcher(input);

if (matcher.find()) {

String itemId = matcher.group(1);

return fetchFromTaobaoAPI(itemId);

}

return null;

}

@Override

public boolean supports(InputType type) {

return type == InputType.TAOBAO_LINK;

}

}

1688 链接的 URL 结构与淘宝类似，但起批量信息需要额外解析。Taocarts 的实现中还支持识别商品规格选项、价格区间、主图集等关键字段。

四、以图搜图

基于阿里云视觉智能平台的以图搜图能力：

python

def search_by_image(image_url):

# 调用阿里云视觉智能平台以图搜图接口

resp = clients.search_image(image_url)

return [{"title": item["title"], "price": item["price"]} for item in resp.get("data", [])]

五、高可用保障机制

商品采集面临的外部依赖多，Taocarts 设计了以下保障机制：

缓存策略：同一 URL 的采集结果缓存 24 小时。

降级方案：API 超时或返回异常时，使用本地规则库的备选解析逻辑。

限流控制：限制同一 IP/用户的采集频率，防止被平台封禁。

异步队列：批量采集任务放入消息队列异步处理，避免阻塞用户请求。

python

Celery异步采集任务

@app.task(bind=True, max_retries=3)

def async_collect(self, input_type, content):

try:

result = collector.collect(content)

except Exception as e:

raise self.retry(exc=e, countdown=2 ** self.request.retries)

return result

六、总结

这套多源采集架构已在 Taocarts 跨境电商独立站中稳定运行，采集成功率长期保持在 99% 以上。双十一等大促期间，单日可处理百万级链接。