代码 / 技术奇怪问题记录
记录容易误判的技术故障:API 分页 total 波动与影刀广告杀手干扰动态网页的原因、处理和边界。
本文目录 11 节 · 展开收起
这篇文章只记录实际遇到、已经理解清楚且值得复用的技术问题,重点保留现象、原理和处理方法,不展开完整排查过程。以后遇到同类问题,会按编号继续追加。
01|API 分页时 total 变化,不一定意味着接口漏单
现象
使用管易 C-ERP 的发货单接口 gy.erp.trade.deliverys.get,按 start_modify_date / end_modify_date 限定修改时间,再通过 page_no / page_size 分页查询,每页读取 100 条。
一次实际同步中,同一时间窗口的前面几页返回 total = 1027,后面的页面却返回 total = 1023。同步程序把 total 变化视为窗口不完整,自动重试两次后仍未通过校验,导致增量同步无法继续推进。
已确认的是总数变化和校验失败,并未确认有订单实际漏读,更不能据此认定漏了 4 单。
原理
普通的页码分页可以理解为下面的偏移查询:
-- 每页 100 条,仅用于解释 OFFSET 分页原理
LIMIT 100 OFFSET 0; -- 第 1 页
LIMIT 100 OFFSET 100; -- 第 2 页
LIMIT 100 OFFSET 200; -- 第 3 页
关键在于:每一页可能都是对当时数据的重新查询,而不是持续读取第一页生成的固定快照。 上面只是通用原理示意,并不代表已经确认管易接口内部使用这些 SQL。
两次请求之间,如果订单新增、修改、作废,符合时间范围的记录集合就可能变化;接口的统计、排序或内部处理也可能影响结果。目前无法仅凭 total 变化判断是哪种原因。
按最后修改时间同步尤其需要关注这个问题:旧订单发生新的修改后,也可能移出原来的查询窗口。但使用修改时间又很必要,因为旧订单的发货状态、物流信息等发生变化时,同步程序仍需要捕获。
一个简单例子
假设每页读取 3 条,且查询顺序固定:
第一次查询:A B C D E F
第 1 页 OFFSET 0 → A B C
此时 B 退出查询范围,剩下:A C D E F
第 2 页 OFFSET 3 → E F
拼接结果:A B C E F
漏读风险:D 没有出现在拼接结果中
虽然两页返回的数据各自都可能是正确的,但客户端拼接后的结果未必完整。如果数据在前面插入,也可能出现跨页重复。
这说明了潜在风险,并不表示上述实际同步已经发生了同样的漏单。
处理建议
- 缩小时间窗口:减少单个窗口跨越的页数,降低分页期间数据变化的影响。
- 重叠回查 + 幂等更新:每次回看一小段已同步时间,按稳定业务 ID 更新记录,让重复读取安全,并为遗漏提供后续补取机会。
- 重复查询并做一致性校验:除了关注
total,还要核对记录 ID、去重后的数量及跨次查询差异;仅仅总数相同也不能证明没有漏单。 - 优先使用稳定分页机制:如果 API 提供固定快照或稳定游标,优先采用;如果只有页码分页,就需要客户端自行处理动态数据的风险。
- 谨慎放宽
total校验:经过重复回查或其他可信校验后,可以允许已验证的总数波动;不能一看到变化就失败,也不能无条件忽略变化。
最终经验
total 变化是“分页结果可能不一致”的信号,不是“实际漏了多少单”的证据。
要分别判断两件事:单次 API 返回是否正确,以及多次分页拼接后是否完整。真正可靠的增量同步,不能只依赖每页请求成功,也不能只依赖某一次的 total。
02|影刀广告杀手让网页按钮失灵:XPath 没匹配也可能出问题
现象
使用影刀 RPA 操作千牛商家后台时,两个不同程序先后遇到类似故障:
- 页面看起来已经加载完成,「批量导出」「消息」等按钮也正常显示,但点击后没有反应。
- 手动刷新同一个页面后,按钮恢复正常。
- 注释市场指令 `close_ads`(广告杀手)后,原来的业务操作可以正常运行。
- 排查时用浏览器开发者工具检查广告关闭 XPath,并没有找到匹配元素。
容易误判的地方在最后一点:当前 XPath 匹配不到元素,并不意味着注入页面的脚本什么也没做。
原理
检查所安装的 `xbot_extensions.ad_killer` 源码后发现,网页端 `close_ads` 并不是“查找一次广告,找到就关闭”,而是通过 `execute_javascript()` 向页面注入了一个 `MutationObserver`(DOM 变化监听器)。
它监听页面子节点的新增变化;一旦触发,就重新执行 XPath / CSS 查询,并根据配置点击匹配元素或设置隐藏属性。源码没有主动调用 `observer.disconnect()`。
可以把它理解为:不是工作人员进屋检查一次广告,而是安排了一个人一直盯着房间;只要有东西被搬进来,就重新检查一遍。
于是会出现两种值得警惕的机制:
- 没有匹配也会继续检查。 XPath 返回空结果,不会自动注销监听器。对于不断更新 DOM 的动态页面,这意味着额外的重复查询。
- 后续出现的元素可能被处理。 检查 XPath 的那一刻没找到,不代表某个弹窗出现时不会匹配。如果选择器范围太宽,还可能误操作正常业务元素。
完整刷新会重建页面的 JavaScript 环境,先前注入的监听器随之消失,这与“刷新后恢复正常”的观察一致。
需要分清证据边界:已经通过注释 `close_ads` 的对照操作确认了它与故障相关;尚未确认到底是重复查询负担、误点业务弹窗,还是两者之外的交互影响。 也没有证据证明千牛主动识别并拦截了 RPA。
处理建议
如果只是偶尔关闭一个引导弹窗,优先使用影刀原生 `xbot.web` 单次查找、单次处理,不要为了一个偶发元素长期监听整个网页。
点击关闭:
```python
page 是当前影刀网页 Page;xpath 为已核实的关闭按钮 XPath
for element in page.find_all_by_xpath(xpath, timeout=0.5): element.click() ```
直接隐藏:
```python
对已核实需要隐藏的元素设置 HTML hidden 属性
for element in page.find_all_by_xpath(xpath, timeout=0.5): element.set_attribute(“hidden”, "") ```
`hidden` 是 HTML 布尔属性,通常可以隐藏目标元素,但网页 CSS 可能影响最终效果。
这种替代方式也有明确边界:只处理检查时已经出现的元素。如果弹窗是在后面的某一步才出现,就在那一步再查一次,或者按实际出现时机做有限等待;不必默认恢复永久监听。
另外,不要因为发现了 `close_ads` 问题,就顺手将 `page.navigate()` 改成 `web.create()`,或叠加自动刷新、重试框架。导航方式与 Page 生命周期是另一回事,修复应尽量只改真正的故障点。
相关 API 与风险事实可参阅:影刀知识库 · 广告杀手。
最终经验
“查不到元素”只说明这一刻没有匹配,不等于没有副作用。 排查网页按钮点击无反应时,除了检查 XPath 和页面加载状态,还要留意是否存在 RPA 注入的长期监听脚本。
对偶发 UI 元素,优先采用作用范围明确、执行后就结束的处理方式;持续监听只有在确有需要、且验证了对目标页面的影响后再使用。