首 页->  使用技巧 如何实现抓取数据不重复，发布数据不重复？ 不要选中“是否删除以前的采集网址”，那么抓过的就不会重复抓了。 发布数据时候设置某些字段不能重复，也可以过滤重复。