SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing
Abstractの概要
SkillAuditは、最適化の過程で隠しテスト、参照解答、報酬、その他の外部のグラウンドトゥルース（正解）シグナルを使用せずに、エージェントのスキルを向上させるためのフレームワークである。その中核となるメカニズムは、候補スキルの有無で同じタスクを実行し、システムがスキルの行動への影響を分離できるようにする「ペアの軌跡監査（paired trajectory auditing）」である。これらの軌跡の違いは、プロセス整合対照評価（PACE）によって解釈され、スキル文書の特定の部分に結びついたセグメント固定の診断シグナルを生成する一方で、タスク仕様から構築された固定のアンカー検証器が有害な退行を防ぐ。また、本手法は編集を広く役立つスキルからノイズの多いガイダンスを取り除く「Refine（洗練）」と、タスクと競合するガイダンスを置き換える「Repair（修復）」の2つのパイプラインに振り分ける。
新規性
本論文の主な特徴は、オラクルのフィードバックや保留された評価シグナルからではなく、スキルの有無によるペアの実行結果のみから最適化シグナルを導き出す、グラウンドトゥルース不要のスキル進化ループにある。さらに、セグメントレベルの対照診断（PACE）を、固定の構造的検証器およびRefine/Repairの双対編集戦略と組み合わせている点も斬新である。
成果
8つの専門領域にわたる89のコンテナ化されたタスクにおいて、SkillAuditは平均タスク報酬73.9%を達成し、スキルなしの40.9%、静的ベンチマークスキルの56.7%を上回った。分析により、この手法は概してすでに強いスキルを維持し、弱いスキルを部分的に回復させ、タスクの正しさが監査プロセスで検出可能な観測しやすい構造的痕跡を残す場合に最もよく機能することが示された。
論文の注目点
- SkillAuditは、スキルの有無によるペアの実行軌跡を対比させることでスキルを向上させ、進化過程における隠しテスト、参照解答、報酬シグナルへの依存を回避する。
- PACEは軌跡の相違を特定のスキル箇所にマッピングすることで局所的な編集ガイダンスを提供し、一方のアンカー検証器は退行を拒否できる決定論的な構造的チェックを提供する。
- 実証実験において、本手法は8つの領域のうち7つで静的スキルベースラインを上回って改善を示し、論文では領域の違いだけではなく正解シグナルの観測可能性が、グラウンドトゥルース不要のスキル進化の成功を左右する重要な要因であると同定している。