論文の概要: What Coding Agents Leave Unsaid: Measuring Task-State Gaps Between Execution and Reports
- arxiv url: http://arxiv.org/abs/2610.20003v2
- Date: Thu, 15 Oct 2026 08:51:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:15.96309
- Title: What Coding Agents Leave Unsaid: Measuring Task-State Gaps Between Execution and Reports
- Title（参考訳）: コーディングエージェントが残した情報:実行と報告の間のタスク状態ギャップの測定
- Abstract要約: 我々は,エージェントが蓄積したユーザ対応レポートと,その全記録された実行状況との間のタスク状態回復可能性のギャップを定量化する。
エージェントは要求に対するタスクステートの質問の93.6%に答え、フルコンテキストの読者は92.7%を回復し、レポートのみの読者は52.0%を回復し、40.7ポイントのギャップがある。
CTXGAPは、補完的な評価次元としてレポートベースのタスク状態回復性を確立する。
- 参考スコア（独自算出の注目度）: 10.234017163579312
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human supervisors rely on coding agents' reports to assess progress, verify repairs, and decide when to intervene. But a supervisor cannot investigate a failure they were never told occurred. Failed attempts, workarounds, and unresolved risks may disappear from routine reports, leaving supervisors unaware of issues that warrant scrutiny. We conduct CTXGAP, a measurement study quantifying the gap in task-state recoverability between agents' accumulated user-facing reports and their full recorded execution contexts. Across 37 coding tasks and 4,799 valid probes, agents answer 93.6% of task-state questions on demand; full-context readers recover 92.7%, while report-only readers recover 52.0%, a 40.7-point gap. At the final checkpoints of 30 verified fixes, the gap remains 34.8 points. Human annotation identifies states mentioned without enough supporting detail as the largest category of unrecovered information, and model-assessed supervision-relevant states retain substantial gaps. Full terminal scrollback improves recovery to 73.6% but still trails full context. Under matched report lengths, context-informed rewrites improve recovery by about eight points, without a detectable targeted-over-natural advantage. Positive gaps persist across harnesses and independent DeepSeek execution and measurement. CTXGAP establishes report-based task-state recoverability as a complementary evaluation dimension.
- Abstract（参考訳）: 人間の監督者は、進捗を評価し、修理を確認し、いつ介入するかを決めるために、コーディングエージェントの報告に頼っている。
しかし、監督官は、言われたことのない失敗を調査できない。
障害のある試み、回避策、未解決のリスクは、定期的な報告から消える可能性がある。
我々は,エージェントの蓄積したユーザ対応レポートと,その全記録された実行状況との間のタスク状態回復可能性のギャップを定量化するCTXGAPを行う。
37のコーディングタスクと4,799の有効な調査の結果、エージェントは要求に対するタスクステートの質問の93.6%に回答し、フルコンテキストの読者は92.7%、レポートのみの読者は52.0%、40.7ポイントのギャップを回復した。
30の確認済み修正の最終チェックポイントでは、ギャップは34.8ポイントのままである。
人間のアノテーションは、詳細を十分にサポートせずに言及された状態を、未発見情報の最大のカテゴリとして特定し、モデルアセスメントされた監視関連状態は、実質的なギャップを保っている。
完全な端末スクロールバックは73.6%のリカバリを改善するが、それでもフルコンテキストに留まる。
一致したレポート長の下では、コンテキストインフォームドリライトは、検出可能なターゲット・オーバー・ナチュラル・アドバンテージを伴わずに、約8ポイントのリカバリを改善する。
ハーネスと独立したDeepSeekの実行と測定で正のギャップが持続する。
CTXGAPは、補完的な評価次元としてレポートベースのタスク状態回復性を確立する。
関連論文リスト
- REPORT-OPS: Hybrid Evidence-Guided Reporting with Human-Supervised Refinement for HPC [0.2799896314754614]
Report-OPSは、要求を解釈し、証拠収集を計画し、可能な説明とドラフトレポートを評価するハイブリッドレポートエージェントである。
凍結HPC運用コーパスにおいて,50のシナリオから構築した68のサニタイズドレポーティングクエリに対するCASE-OPSの評価を行った。
論文 参考訳（メタデータ） (2026-10-13T21:40:24Z) - Failure Recovery via Belief Updates and World Modeling for Long-Horizon Agents [58.51369178880458]
ロングホライゾンのエージェントは、何歩か前に発生した障害から回復するのに苦労することが多い。
本報告では, 検証試験における持続的証拠と, 補修方向に対する予測的推論を組み合わせた枠組みであるBELIEFWEAVERを紹介する。
論文 参考訳（メタデータ） (2026-10-13T10:05:06Z) - StateHarness: Maintaining Evolving Project State for Long-Horizon Coding Agents [24.44651845075238]
モデルパラメータを更新することなく、プロジェクト状態の進化を維持するランタイムフレームワークであるStateHarnessを紹介します。
StateHarnessは、測定可能な実行と回帰トレードオフを導入しながら、長距離符号化を改善する。
論文 参考訳（メタデータ） (2026-10-13T02:39:03Z) - StateWise: Diagnosing and Repairing Persistent Operational State Before Agent Actions [40.67530816009153]
動作実行前に永続的な動作状態の診断と修復を行うためのフレームワークであるStateWiseを提案する。
腐敗した永続状態の下では、StateWiseは93.3%の全体的な正当性を達成するが、ベースラインエージェントは38.7%で安全でない。
論文 参考訳（メタデータ） (2026-10-04T14:12:18Z) - Right Answers, Wrong States: Hidden Information Failures in Multi-Agent Collaboration [69.14904049421806]
共同作業は、即時決定が正しい場合でも、腐敗した情報状態に置き去りにすることができる。
GPT、Gemini、Qwenモデル全体では、標準的なコラボレーションは、状態の信頼性よりもはるかに強力なタスクパフォーマンスを示している。
我々は、矛盾する証拠を解決し、共有された事実を検証し、信頼された国家を再構築するReGroundを紹介します。
論文 参考訳（メタデータ） (2026-10-01T07:42:27Z) - Dude, Where's My State? Execution Information Requirements for Stateful Agents [10.501126275738219]
本研究では,個々の作業の難易度から情報需要,維持,回復を別々に変化させるような,既知の依存関係を持つタスクを生成するフレームワークを開発する。
エージェント実行トレースを使用してセマンティックグラフを構築し,実際のタスクに対する情報要求を計測するVESTIGEも導入する。
論文 参考訳（メタデータ） (2026-09-26T14:48:41Z) - ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment [66.45065414461274]
ロングホライゾン検索エージェントは、最終的な答えを得るために証拠を検索、検索、検証、統合するための複数のシーケンシャルなアクション(ステップ)をしなければならない。
本稿では,長距離検索エージェントを訓練するためのきめ細かい信用割当てフレームワークであるAnswer-Backtracked Credit Assignment (ABC)を提案する。
ABCは、スパース軌跡レベルの結果を、誤動作や冗長な動作を抑えながら、有用な動作(たとえ軌道が失敗しても)を報いるような、密度の高いステップレベルの監視に変換する。
論文 参考訳（メタデータ） (2026-08-05T17:41:31Z) - SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。
SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。
本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
論文 参考訳（メタデータ） (2026-08-05T09:09:00Z) - Can LLMs Really Recover Microservice Failures? A Recovery-Aware Evaluation of Diagnosis-to-Action Reasoning [48.22526014304726]
本稿では,診断後インシデント応答に対するリカバリアクション評価フレームワークであるR2Actについて述べる。
R2Actはインシデントスキーマ、品質ゲート、アクション空間表現、リカバリ妥当性メトリクス、オフライン評価器、ライブ再生プロトコルを定義する。
システムから品質監査されたインシデント302件のベンチマークデータセットとして、このフレームワークをインスタンス化する。
論文 参考訳（メタデータ） (2026-07-06T03:05:17Z) - RepoMirage: Probing Repository Context Reasoning in Code Agents with Perturbations [51.43574078961796]
本稿では,SWE-Bench Verified上に構築された2段階評価スイートRepoMirageを紹介する。
RepoMirage-Perturbは、リポジトリレベルの摂動を保存する3つのタイプのセマンティクスを適用している。
RepoAnchorは、下流の問題解決からリポジトリの探索を分離する構造第一のプロトタイプワークフローである。
論文 参考訳（メタデータ） (2026-05-25T06:26:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。