Baseline（基线版本）
v0.5.2
Resolved Rate 31.2%
VS
Target（对比版本）
v0.6.1
Resolved Rate 25.8%
Resolved Rate Δ
-5.4%
31.2% → 25.8%
回归 Repo 数
5
/ 12 repos
Badcase 增量
+27
140 → 167 (total 500)
平均 Trace Steps
+31%
8.2 → 10.7 steps/task
📊 按 Repo 精度对比
Resolved Rate
Avg Steps
Cache Hit
| Repository | v0.5.2 | v0.6.1 | Δ | 趋势 | Badcase Δ | 风险等级 | 操作 |
|---|---|---|---|---|---|---|---|
| django/django | 38.7% | 26.3% | -12.4% | +15 | 🔴 严重 | 查看归因 → | |
| pytest-dev/pytest | 29.4% | 21.1% | -8.3% | +8 | 🔴 严重 | 查看归因 → | |
| scikit-learn/scikit-learn | 24.6% | 19.8% | -4.8% | +5 | 🟡 关注 | 查看归因 → | |
| sympy/sympy | 33.2% | 28.7% | -4.5% | +4 | 🟡 关注 | 查看归因 → | |
| matplotlib/matplotlib | 28.1% | 25.9% | -2.2% | +2 | 🟡 关注 | 查看归因 → | |
| psf/requests | 45.8% | 44.2% | -1.6% | +0 | 🟢 正常 | ||
| astropy/astropy | 22.3% | 23.1% | +0.8% | -1 | 🟢 正常 |
📊 Per-Repo Resolved Rate 对比
38.7
django
29.4
pytest
24.6
sklearn
33.2
sympy
28.1
matplotlib
45.8
requests
22.3
astropy
v0.5.2 (Baseline)
v0.6.1 (Target)
📈 指标变化热力图
| 指标 | v0.5.2 | v0.6.1 | Δ |
|---|---|---|---|
| Avg Steps/Task | 8.2 | 10.7 | +30.5% |
| KV Cache Hit | 65% | 38% | -41.5% |
| Preemptions/Run | 156 | 498 | +219% |
| Decode ms/token | 15.8 | 22.1 | +39.9% |
| Tool Call Latency | 420ms | 580ms | +38.1% |
| P99 E2E Latency | 34.2s | 52.8s | +54.4% |
💡 Diff 分析摘要
- django/django (-12.4%) 是 resolved rate 回退最严重的 repo。28 个任务中仅 8 个被正确修复。归因引擎指向 Agent 搜索确认循环——平均 steps/task 从 8.2 增至 10.7，冗余工具调用增加了 31%。
- pytest-dev/pytest (-8.3%) 新增 badcase 中 70% 为"文件定位错误"类型：Agent 在 grep/shell 搜索后定位到错误的源文件，可能与长上下文下 KV cache 命中率下降导致上下文断裂有关。
- 整体性能严重退化：P99 端到端延迟从 34s 增至 53s (+54%)，preemption 次数从 156 增至 498 (+219%)。Agent 的每次 LLM 调用都会触发 decode，preemption 增多意味着 Agent 的多步推理链路频繁被打断、上下文被逐出。
- 正面变化：astropy/astropy (+0.8%) 和 requests (-1.6%) 表现稳定，说明回退并非全局性——大型 repo（django, pytest）受影响更大，可能与 repo 规模导致的文件搜索步骤增加产生复合效应有关。