論文の概要: Do Coding Agents Catch Their Own Bugs? (They Don't.)

• arxiv url: http://arxiv.org/abs/2611.01181v1
• Date: Sat, 31 Oct 2026 18:29:06 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:33:15.629253
• Title: Do Coding Agents Catch Their Own Bugs? (They Don't.)
• Title（参考訳）: コーディングエージェントは、自分のバグをキャッチする?
• Abstract要約: 我々は、コーディングエージェントが予測し、未解決の問題に対処できるかどうかを測定するベンチマークである$textbfForesight-SWE$を紹介した。 Foresight-SWEは、4つの言語にまたがる212のサンプルと、35の人気のあるオープンソースリポジトリで構成されている。 FRRはわずか6.13%から24.53%の範囲であり、モデルが最初のPR変更によってもたらされた問題にほとんど対処できないことを示している。
• 参考スコア（独自算出の注目度）: 16.345005741577875
• License:
• Abstract: In software development, engineers need to foresee and fix potential problems with their code that are not explicitly specified in requirements---such as pre-emptively considering vulnerabilities or other bugs from a code change. But current benchmarks often do not measure these future-looking consequences. We introduce $\textbf{Foresight-SWE}$, a benchmark for measuring whether coding agents can anticipate and address unstated problems during software engineering tasks. Foresight-SWE consists of 212 samples spanning 4 languages and 35 popular open-source repositories. Each sample contains two pull requests (PRs), the second of which resolves defects the first one introduced. To measure whether agents exhibit foresight, we define the $\textbf{foresight resolve rate (FRR)}$ as the fraction of instances where an agent fully resolves the original task while also avoiding the defect identified by a later PR. We evaluate eleven large language models and find that FRR ranges from only 6.13% to 24.53%, indicating that models largely fail to address problems introduced by the first PR change. This raises important questions about how models are trained and aligned in coding contexts, as well as how code review tools should be improved for more fail-safe coding. Foresight-SWE shifts evaluations in this direction.
• Abstract（参考訳）: ソフトウェア開発では、エンジニアは要件に明示的に規定されていないコードで潜在的な問題を予見し、修正する必要があります。 しかし、現在のベンチマークでは、これらの将来的な結果が測定されないことが多い。 我々は、コーディングエージェントがソフトウェアエンジニアリングタスク中に未解決の問題を予測し解決できるかどうかを測定するベンチマークである$\textbf{Foresight-SWE}$を紹介した。 Foresight-SWEは、4つの言語にまたがる212のサンプルと、35の人気のあるオープンソースリポジトリで構成されている。 各サンプルには2つのプルリクエスト(PR)が含まれている。 エージェントが前向きかどうかを測定するために、$\textbf{foresight resolve rate (FRR)$を、エージェントが元のタスクを完全に解決し、後続のPRで特定される欠陥を回避したインスタンスの分数として定義する。 我々は11の大規模言語モデルを評価し、FRRは6.13%から24.53%の範囲でしかなく、最初のPR変更で導入された問題にほとんど対処できないことを示す。 これにより、モデルがどのようにトレーニングされ、コーディングコンテキストに整合するか、また、よりフェールセーフなコーディングのためにコードレビューツールをどのように改善すべきか、という重要な疑問が提起される。 フォレスト-SWEはこの方向の評価をシフトする。

関連論文リスト

• AdaPRA: Process Reward Agents with Adaptive Rubrics for Data Science [61.06192512211444]
  データサイエンスエージェントはエンドツーエンドの機械学習を自動化することができるが、人間のリーダーボードとの競争には程遠い。 我々はこれらの問題に対処するためにAdaPRAを提案する: 同一タスクの試行にまたがって知識を蓄積する永続的符号化エージェントと、エラーを特定し修正するルーリック誘導プロセス監視。 AdaPRAはタスク毎の5つの試行により、80B QwenモデルのパーセンタイルをDSPredict-Easyで24.5ポイント、DS-Hardで14.8ポイント改善し、プロセスエラーを減らす。
  論文  参考訳（メタデータ） (2026-10-23T19:46:55Z)
• Latent Programming Horizons in Coding Agents [6.8463578914435645]
  ソフトウェアエンジニアリングタスクを解決するコーディングエージェントは、コードの推論、編集、テストの実行に数十ステップを費やしている。 符号化エージェントによる言語モデルの残余ストリームは、進化するプログラムの特性を線形にエンコードすることを示す。 将来の編集結果を予測するために訓練されたプローブは、パフォーマンスを最大25ステップまで向上させる。
  論文  参考訳（メタデータ） (2026-07-06T15:08:26Z)
• A Preliminary Study on Explaining Risk of Code Changes using LLM-Based Prediction Models [12.235188801401153]
  LLMベースのDiff Risk Scoreモデルからの注目度を利用して、ソフトウェア変更の一部を強調します。 実際の機能停止の原因となった専門家ラベルの変更を使って、我々のアプローチを評価します。
  論文  参考訳（メタデータ） (2026-07-02T21:31:09Z)
• FrontierSmith: Synthesizing Open-Ended Coding Problems at Scale [73.57353294235223]
  既存のクローズドエンドコーディングタスクからオープンエンドの問題を進化させる自動化システムであるFrontierSmithを紹介する。 2つのオープンエンドコーディングベンチマークでは、我々の合成データに対するトレーニングはベースモデルよりも大幅に向上する。 合成された問題は、エージェントがもっと回転してトークンを使うようにもなっています。
  論文  参考訳（メタデータ） (2026-05-14T06:39:42Z)
• Coding Agents Don't Know When to Act [3.2610504259514754]
  コーディングエージェントは、ソフトウェアを自律的にメンテナンスするためにますますデプロイされる。 現実のデプロイメントでは、すでに解決済みの問題に関するバグレポートに遭遇します。 最先端のモデルでさえ失敗し、35ドルから65%のケースで望ましくない変更を提案する。
  論文  参考訳（メタデータ） (2026-05-08T14:10:00Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
  我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。 我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。 11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
  論文  参考訳（メタデータ） (2026-03-25T19:26:44Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• Evaluating Software Development Agents: Patch Patterns, Code Quality, and Issue Complexity in Real-World GitHub Scenarios [13.949319911378826]
  この調査は、500の現実のGitHubイシューで上位10のエージェントから4,892のパッチを評価した。 一人のエージェントが支配的であり、170の問題が未解決であり、改善の余地があった。 ほとんどのエージェントはコードの信頼性とセキュリティを維持し、新しいバグや脆弱性を避けた。 一部のエージェントはコードの複雑さを増し、多くの重複を減らし、コードの臭いを最小限にした。
  論文  参考訳（メタデータ） (2024-10-16T11:33:57Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。