論文の概要: Can Terminal Agents Trust Their Own Verification? Diagnosing and Improving Self-Verification
- arxiv url: http://arxiv.org/abs/2609.38812v1
- Date: Wed, 30 Sep 2026 02:42:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.0486
- Title: Can Terminal Agents Trust Their Own Verification? Diagnosing and Improving Self-Verification
- Title（参考訳）: ターミナルエージェントは自己検証を信頼できるか? : 自己検証の診断と改善
- Abstract要約: 完全候補が形成された後、自己検証はほぼ普遍的であるが、誤った候補が61.43%しか検出されず、検出されたエラーの49.36%のみが修復に成功している。
本研究の目的は,学生が最初に候補解を生成できるSCVD(Student-Conditioned Verification Distillation)を提案することである。
3つのQwen3.5バックボーンの中で、SCVD は TerminalBench2.1 上の textscPass@1 を 9.74--16.85 のパーセンテージで改善し、標準のフルトラジェクタ上で 4.49--8.61 のパーセンテージで改善した。
- 参考スコア（独自算出の注目度）: 37.46072257265434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Terminal agents rely on self-verification to assess and correct their solutions as they solve tasks through interaction with command-line environments. Yet how trustworthy such self-verification is remains poorly understood. To investigate this question systematically, we introduce a diagnostic framework that identifies the first complete solution in each trajectory, determines whether it is objectively correct, and uses this ground truth to quantify the agent's subsequent verification and recovery behavior. Applying it to ten terminal agents on TerminalBench2.1, we find that verification is nearly universal after a complete candidate is formed, yet only 61.43\% of incorrect candidates are detected and only 49.36\% of detected errors are successfully repaired. These results show that the main weakness in self-verification lies not in initiating verification, but in detecting and repairing errors. Motivated by these findings, we propose Student-Conditioned Verification Distillation (SCVD), which lets the student first produce a candidate solution and distills a stronger teacher's subsequent verification and recovery from the same interaction context. Across three Qwen3.5 backbones, SCVD improves \textsc{Pass@1} on TerminalBench2.1 by 9.74--16.85 percentage points over the corresponding base models and by 4.49--8.61 points over the standard full-trajectory distillation, while avoiding the pronounced out-of-distribution degradation of full-trajectory distillation on SWE-bench Verified.
- Abstract（参考訳）: 端末エージェントは、コマンドライン環境とのインタラクションを通じてタスクを解決する際に、ソリューションの評価と修正を自己検証に頼っている。
しかし、そのような自己検証がいかに信頼できるかはいまだに理解されていない。
この問題を体系的に調査するために,各トラジェクトリにおける最初の完全解を同定し,客観的に正しいかどうかを判断する診断枠組みを導入し,エージェントのその後の検証と回復行動の定量化にこの基礎的真理を利用する。
TerminalBench2.1上の10の端末エージェントに適用すると、完全な候補が形成された後、検証はほぼ普遍的であるが、誤り候補の61.43\%が検出され、検出されたエラーの49.36\%のみが修正された。
これらの結果から、自己検証の主な弱点は、検証を開始することではなく、エラーを検出し、修復することにあることがわかった。
そこで,本研究では,学生がまず候補解を生成できるSCVDを提案する。
3つのQwen3.5のバックボーンで、SCVDはターミナルBench2.1上の \textsc{Pass@1} を、対応するベースモデルよりも9.74--16.85ポイント、標準の全軌道蒸留よりも4.49-8.61ポイント改善し、SWE-benchの完全軌道蒸留のアウト・オブ・ディストリビューション劣化を回避した。
関連論文リスト
- TwinCheck: Evidence-Grounded Negative-Twin Verification for Stateful Tool Agents [1.1279808969568255]
TwinCheckは、トレースがトレースローカル障害仮説に結びついている証拠条件を満たす場合にのみ、置換を検討するポリシーである。
ペア評価の場合、正確なリプレイはエージェントのパースされた応答とアクションを保持し、最初の置換が受け入れられるまで固定される。
論文 参考訳（メタデータ） (2026-09-22T18:09:40Z) - Claim-Level Reliability Assessment for Efficient Test-Time Reasoning [9.168249719115845]
テストタイムスケーリングの原則としてクレームレベルのファルシフィケーションを提案し、Claim-Level Reliability Assessment (CLR) を通じてそれをインスタンス化する。
CLRは、追加のソリューションサンプリングからターゲット検証まで、テスト時間計算を再配置する。
論文 参考訳（メタデータ） (2026-08-12T12:33:05Z) - SEVA: Self-Evolving Verification Agent with Process Reward for Fact Attribution [6.908637308550535]
SEVAは、エビデンスアライメント、ステップバイステップの推論チェーン、キャリブレーションされた信頼度、6カテゴリのエラー診断を発行する構造化検証エージェントである。
ClearFacts では、SEVA-3B は GPT-4o-mini (69.0 vs. 69.8 F1) と一致し、よりリッチで監査可能な出力を生成する。
論文 参考訳（メタデータ） (2026-06-29T02:37:13Z) - PACE: Anytime-Valid Acceptance Tests for Self-Evolving Agents [0.0]
自己進化型エージェントは、自身のプロンプト、スキル、オーモーフィケーションの変更を繰り返し提案することで改善する。
Qwen2.5 のエージェント (0.5B-3B) が GSM8K, SVAMP, ARC-Challenge のプロンプトレベルで自己進化する際、greedy は 30-42% の偽陽性と 10-33% の有害な編集をコミットする。
PACEは実際のものをコミットし、グリーディのホールトアウトの精度を著しく低いばらつきと約18%低い評価コストで一致させる。
論文 参考訳（メタデータ） (2026-06-06T11:12:11Z) - MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation [51.32912774464992]
大規模な言語モデルは、しばしば完全に指定されたプロンプトからタスクを解くが、同じ要求が複数のターンに広がると分解する。
本研究は, モデル自体の方針から, 履歴をクリアした基準を用いて汚染を低減させる, オンライン自己蒸留法であるMAIGOを提案する。
ミドルターンの場合、MAIGOは、ユーザ可視のシャードプレフィックスを保持しながら、事前のアシスタント応答を削除します。
論文 参考訳（メタデータ） (2026-05-26T15:38:46Z) - Cross-Context Verification: Hierarchical Detection of Benchmark Contamination through Session-Isolated Analysis [0.0]
Cross-Context Verification (CCV) は、N個の独立したセッションで同じベンチマーク問題を解決するブラックボックス方式である。
9つのSWE分岐検証問題(45の試験、クロードオプス4.6、温度0)では、CCVは汚染されたものと真の推論との間の完全な分離を達成する。
論文 参考訳（メタデータ） (2026-03-23T00:18:34Z) - PRIME: A Process-Outcome Alignment Benchmark for Verifiable Reasoning in Mathematics and Engineering [71.15346406323827]
本稿では,プロセス・アウトカム・アライメント・アライメント・検証における検証結果を評価するベンチマークであるPRIMEを紹介する。
現在の検証器は、しばしば導出欠陥を検出するのに失敗する。
本稿では,PRIMEで選択した検証手法を利用したプロセス認識型RLVRトレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2026-02-12T04:45:01Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z) - Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。
その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。
VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
論文 参考訳（メタデータ） (2025-05-17T04:16:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。