論文の概要: Built on Broken Assumptions (BOBA): Why Coding Agents Cannot Be Left Alone

• arxiv url: http://arxiv.org/abs/2611.02207v1
• Date: Sun, 01 Nov 2026 21:06:34 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:18:17.824072
• Title: Built on Broken Assumptions (BOBA): Why Coding Agents Cannot Be Left Alone
• Title（参考訳）: BOBA(Broken Assumptions)をベースとしたコーディングエージェントはなぜ単独ではいられないのか
• Abstract要約: エージェントは間違った作業を報告していることが知られているが、ベンチマークは一度に1つのリクエストを、人間が書いたコードでテストし、一度チェックする。 エージェントはリクエストの95%を一度に処理しますが、リクエストがチェーン化されると51%が完了します。
• 参考スコア（独自算出の注目度）: 51.88830575879169
• License:
• Abstract: Coding agents are autonomous developers. Given a request, they change the code and report back when done. As such, they can handle not only independent requests but whole chains of them, each request built on the last. Agents are known to report wrong work as done, yet benchmarks still test them one request at a time, on human-written code, checked once. We build BOBA-Bench, 280 chains of 20 consecutive requests drawn from 140 real open-source projects, and evaluate ten coding agents on both. All ten do far worse on chains. On average, they complete 95% of requests taken one at a time, but when requests are chained together, they complete 51%. Worse code is not the cause. Once checked, agent code is nearly as good a base for later requests as human code. The cause is the mistakes agents miss. Coding agents declare a request done once their own tests pass, even when those tests miss a mistake. The next request then builds on broken code and fails about twice as often. The mistake is rarely found later. Nor can agents catch such mistakes by reviewing code. Asked whether an implementation is correct, they are right 53% of the time, barely better than a coin flip. Coding agents are therefore heavily dependent on access to verification. A single external ``that's wrong'' after a failed request and one repair round lift chain completion from 51% to 59%, and a repaired mistake no longer hurts the requests that follow. In simpler terms, coding agents are only as reliable as the checks they can reach: without verification, every request that follows is built on broken assumptions.
• Abstract（参考訳）: コーディングエージェントは自律的な開発者です。 リクエストが与えられたら、コードを変更し、完了したら報告します。 そのため、独立したリクエストだけでなく、各リクエストが最後に構築されたチェーン全体の処理も可能だ。 エージェントは間違った作業を報告していることが知られているが、ベンチマークは一度に1つのリクエストを、人間が書いたコードでテストし、一度チェックする。 BOBA-Benchは、140のオープンソースプロジェクトから引き出された280の連続的なリクエストのチェーンで、どちらも10のコーディングエージェントを評価します。 10人全員が鎖よりもずっと悪い。 平均して、リクエストの95%は1回に1回で完了しますが、リクエストがチェーン化されると、51%が完了します。 悪いコードは原因ではありません。 一度チェックすると、エージェントコードは人間のコードと同じくらい、後のリクエストのベースになる。 原因は、エージェントがミスを犯すことです。 コーディングエージェントは、テストが失敗しても、自身のテストが通過したらリクエストを宣言する。 次のリクエストは壊れたコードの上に構築され、約2倍の頻度で失敗する。 その間違いは後ほど見つからない。 エージェントもコードをレビューすることでそのようなミスをキャッチできない。 実装が正しいかどうかを尋ねると、それらは53%のタイミングで正しい。 したがって、符号化エージェントは検証へのアクセスに大きく依存する。 要求が失敗し、1つの修理ラウンドリフトチェーンが51%から59%に完了した後に、単一の外部の `that's wrong' が返される。 単純な言い方をすれば、コーディングエージェントは、彼らが到達できるチェックと同じくらい信頼性があるだけである:検証なしでは、次のすべての要求は、壊れた仮定に基づいて構築される。

関連論文リスト

• Do Coding Agents Catch Their Own Bugs? (They Don't.) [16.345005741577875]
  我々は、コーディングエージェントが予測し、未解決の問題に対処できるかどうかを測定するベンチマークである$textbfForesight-SWE$を紹介した。 Foresight-SWEは、4つの言語にまたがる212のサンプルと、35の人気のあるオープンソースリポジトリで構成されている。 FRRはわずか6.13%から24.53%の範囲であり、モデルが最初のPR変更によってもたらされた問題にほとんど対処できないことを示している。
  論文  参考訳（メタデータ） (2026-10-31T18:29:06Z)
• Skeleton Coding: Program Structure as a Specification for Agents [112.23717608824352]
  スケルトンは、最高のエンドツーエンドの動作仕様と比較して平均テストエラーを48.4%削減できることを示す。 エージェントが完全な参照実装をクエリできる場合でも、スケルトンを追加することで平均テストエラーが27.0%まで減少する。 スケルトンはまた、小型モデルと大型モデルの間の平均的なギャップを52.4%減らし、実装コストを15-26倍減らし、コード浸食を24.7%減らした。
  論文  参考訳（メタデータ） (2026-10-28T03:09:39Z)
• Your Wish Is My Commit: Over-Compliant Refactoring in AI Coding Agents [3.277635102884513]
  大規模言語モデルは、非生産的であっても、サイコファンであり、ユーザと過剰に補完することが知られている。 編集なしで編集を継続するエージェントは、コードの書き込み、技術的負債、レビューの負担を削減します。
  論文  参考訳（メタデータ） (2026-10-26T22:12:50Z)
• Testing with Coding Agents: A Large-Scale Comparison of Agent-Supported and Human-Authored Pull Requests [2.704265573446369]
  我々は、開発者とコーディングエージェントが、検出可能なエージェントの関与なしにプルリクエストと協調するプルリクエストを比較する。 私たちは、2025年1月から2026年4月にマージされた114,134のプルリクエストを、391のJavaリポジトリで分析しました。
  論文  参考訳（メタデータ） (2026-10-26T12:03:47Z)
• Do Coding Agents Understand Why Systems Crash---and Why They Don't? [67.16681439771178]
  コーディングエージェントは現実世界のバグを修正する能力はますます高まっているが、Linuxカーネルのような大規模なシステムでは依然として苦労している。 理由を理解するために、私たちはクラッシュ推論を通じてエージェントがこれらの処理の実行を理由づける方法をテストする。 正しい予測だけでは、不審なコードを見つけることから生じる可能性があるため、この能力を確立できない。
  論文  参考訳（メタデータ） (2026-10-21T07:30:20Z)
• The Prover Is the Judge: Verified Security Software from AI Coding Agents in Ada/SPARK [0.0]
  検証者主導のループにおいて、AIエージェントは古典的および後量子暗号、TLS 1.3、IKEv2、X.509、マトリックスクライアントにまたがるAda/SPARKのベアメタルセキュリティソフトウェアを書いて検証した。 GNATproveは49,280の証明義務を解除し、選択されたプリミティブに対して機能的正当性を確立し、残りのプリミティブに対して実行時のエラーがないことを証明した。 それぞれのレイヤが障害をキャッチし,中心的な教訓を引き出す方法を報告します。エージェントが確立するために信頼できるものは,そのフィードバックの強さに縛られているのです。
  論文  参考訳（メタデータ） (2026-07-15T20:09:05Z)
• Coding Agents Don't Know When to Act [3.2610504259514754]
  コーディングエージェントは、ソフトウェアを自律的にメンテナンスするためにますますデプロイされる。 現実のデプロイメントでは、すでに解決済みの問題に関するバグレポートに遭遇します。 最先端のモデルでさえ失敗し、35ドルから65%のケースで望ましくない変更を提案する。
  論文  参考訳（メタデータ） (2026-05-08T14:10:00Z)
• SWE-chat: Coding Agent Interactions From Real Users in the Wild [70.18158706281724]
  SWE-chatは、オープンソースの開発者から収集された実際のコーディングエージェントセッションの大規模なデータセットである。 現在、データセットには6000のセッションが含まれており、63,000以上のユーザプロンプトと355,000のエージェントツールコールが含まれている。
  論文  参考訳（メタデータ） (2026-04-22T17:08:19Z)
• SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
  我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。 我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。 11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
  論文  参考訳（メタデータ） (2026-03-25T19:26:44Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。