論文の概要: From Faulty Claims to Incorrect Patches: An Empirical Study of Task-Grounded Reasoning in Coding Agents

• arxiv url: http://arxiv.org/abs/2610.32338v1
• Date: Fri, 23 Oct 2026 08:30:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.436709
• Title: From Faulty Claims to Incorrect Patches: An Empirical Study of Task-Grounded Reasoning in Coding Agents
• Title（参考訳）: 欠陥クレームから不正確なパッチ:コーディングエージェントにおけるタスクグラウンド推論の実証的研究
• Abstract要約: 大規模言語モデル(LLM)ベースのコーディングエージェントは、現実のソフトウェアエンジニアリングタスクを徐々に解決するが、その多くにはまだ失敗している。 このような主張に関する最初の実証的研究を,タスクグラウンド推論(Task-grounded reasoning)と呼ぶ。 以上の結果から,CoTはエージェント障害の診断と修復にタスク固有のシグナルを担っていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 13.164219397792836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM)-based coding agents increasingly resolve real-world software engineering tasks, yet still fail on many of them. Prior trajectory studies characterize these failures through task-agnostic patterns of agent behavior, such as repeated actions. However, an agent may follow a sound workflow yet act on a faulty understanding of the existing code, the task requirements, or a candidate fix. Reasoning models, which power most state-of-the-art coding agents, reveal this understanding in their native chain-of-thought (CoT), whose claims about the task can be checked against the facts. Yet it remains unclear how many such checkable claims the CoT contains, how many are faulty, and whether faulty claims actually cause incorrect patches. We present the first empirical study of such claims, which we term task-grounded reasoning, analyzing 400 trajectories of four open-weight reasoning models on SWE-bench Pro. We extract atomic claims from the CoT with an LLM, assess them against evidence gathered by an LLM agent, and manually trace the defects of incorrect patches back to faulty claims, confirming each link with a claim-corrected replay. Task-grounded reasoning covers only 18.5% of the CoT tokens, yet yields 191 atomic claims per trajectory, at least 9.6% of which are faulty. Faulty claims also occur in 96.7% of the resolved trajectories, so their mere presence is a weak signal of failure. Yet two thirds of the 188 incorrect patches trace back to faulty claims. Correcting such a claim makes the agent fix the linked defect in 89.0% of the cases, and correcting all such claims resolves 11.7% of the failed tasks. Our findings show that the CoT carries task-specific signals for diagnosing and repairing agent failures, but exploiting them requires pinpointing the few faulty claims that actually cause patch defects.
• Abstract（参考訳）: 大規模言語モデル(LLM)ベースのコーディングエージェントは、現実のソフトウェアエンジニアリングタスクを徐々に解決するが、その多くにはまだ失敗している。 以前の軌跡研究は、繰り返し行動のようなエージェント行動のタスク非依存パターンを通じて、これらの障害を特徴付ける。 しかし、エージェントは健全なワークフローに従っても、既存のコード、タスク要件、あるいは候補修正の誤った理解に作用する可能性がある。 ほとんどの最先端のコーディングエージェントを動かす推論モデルは、そのタスクに関する主張を事実に対してチェックできる、彼らのネイティブチェーン・オブ・シント(CoT)において、この理解を明らかにする。 しかし、CoTがどれだけのチェック可能なクレームを含んでいるか、どれだけの欠陥があるか、そして、欠陥クレームが実際に間違ったパッチを発生させるかは、まだ不明だ。 本稿では,SWE-bench Pro上の4つのオープンウェイト推論モデルの400トラジェクトリを解析し,タスクグラウンド推論(Task-grounded reasoning)と呼ぶ。 我々は、COT から LLM を用いて原子的クレームを抽出し、それらを LLM エージェントが収集した証拠に対して評価し、不正確なパッチの欠陥を欠陥クレームまで手作業で追跡し、クレーム訂正されたリプレイで各リンクを確認する。 タスクグラウンドの推論はCoTトークンの18.5%しかカバーしていないが、軌道当たり191の原子クレームが発生し、そのうち少なくとも9.6%は故障している。 故障は解決された軌道の96.7%にも発生するため、その存在は失敗の弱い信号である。 しかし、188の間違ったパッチの3分の2は、欠陥の主張にさかのぼる。 このようなクレームの修正により、エージェントは89.0%のケースでリンクした欠陥を修正し、これらのクレームを修正すれば、失敗するタスクの11.7%が解決される。 以上の結果から,CoTはエージェント障害の診断と修復にタスク固有のシグナルを担っていることが明らかとなった。

関連論文リスト

• Plant Memory: Technical Language Processing and a Verified Maintenance Ontology for Agent-Accessible Failure Knowledge from SAP PM Work Orders [0.0]
  本稿では,技術言語処理(TLP)をSAPプラント保守(PM)輸出に適用するプラントメモリを提案する。 抽出されたすべてのステートメントは、信頼度スコア、それが読み取った証拠、検証状態を含む強化された事実である。 パーボイルド・プライス・プラントから400件の注文を合成した12ヶ月の輸出で、規則に基づく抽出は96.2%の部品精度、88.9%の故障モード精度、100%の根起点精度に達した。
  論文  参考訳（メタデータ） (2026-10-13T20:02:31Z)
• SWE-Proof: Can Language Models Resolve Real-World Issues with Machine-Checked Proofs? [39.004582663385364]
  Benchprooferは、既知の正しいパッチでコーディングタスクを正式に認証されたパイプラインに変換するパイプラインです。 SWE-bench Verified に適用すると SWE-Proof が得られる。
  論文  参考訳（メタデータ） (2026-09-18T01:16:53Z)
• Schwarz: Solver-Aware Agentic Program Verification [1.9215527229034466]
  Schwarzはエージェントによる検証ハーネスで、SMTが支援する証明の失敗を局所的に、チェック可能で、修復可能である。 我々は、CとRust/Verus用のSchwarzを実装し、1,475のタスクで評価する。
  論文  参考訳（メタデータ） (2026-08-31T13:54:48Z)
• Beyond Fail-to-Pass: Iterative Hardening of Co-Generated Bug Reproduction Tests and Fixes [55.114939648705395]
  大規模言語モデル(LLM)は、現実のバグに対して、プログラムの自動修正をますます実用的にしている。 バグ再現テスト(BRT)は、バグレポートを実行可能なバグ固有の信号に変換することで、このギャップを埋めるのに役立つ。 本稿では,ループ内収束基準としてLax信号を用いるコジェネレーションフレームワークであるCoHardenを提案する。
  論文  参考訳（メタデータ） (2026-07-22T07:30:07Z)
• Auditing Reward Hackability in Code RL Training Environments [0.0]
  コードRL環境が誤った解を正しく受け入れる速度を計測する。 SWE-bench Verifiedの49タクのサンプルでは、28.5%のタスクがテストスイートが弱く、Dockerで検証された不正確なパッチがそれらをパスしている。
  論文  参考訳（メタデータ） (2026-06-14T23:31:42Z)
• VerifyMAS: Hypothesis Verification for Failure Attribution in LLM Multi-Agent Systems [79.51005192758262]
  大規模言語モデル駆動型マルチエージェントシステムは複雑なタスクで優れている。 しかし、信頼性の低いエージェントは、システムレベルの信頼性にとって重要なボトルネックである。 本稿では,エージェント故障の帰属に関する仮説検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-17T14:09:35Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。