論文の概要: Writing Bug Reports for Software Repair Agents: What Information Matters Most?
- arxiv url: http://arxiv.org/abs/2607.09553v1
- Date: Fri, 10 Jul 2026 16:00:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-13 14:47:12.901431
- Title: Writing Bug Reports for Software Repair Agents: What Information Matters Most?
- Title(参考訳): ソフトウェア修復エージェントのためのバグレポートを書く: もっとも重要な情報は何か?
- Abstract要約: バグレポートのエージェント対応について検討する。
バグレポートを表す441の課題に注目します。
その結果,エージェントファーストレポートは,エージェントの検索・修理スペースを狭める情報から最も恩恵を受けることが示唆された。
- 参考スコア(独自算出の注目度): 45.10027008889631
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software development is increasingly moving toward agentic-first workflows. This includes AI agents responsible for generating initial fixes for submitted issue reports. In this setting, issue reports are no longer merely documentation for human maintainers; they become the primary task specification for the agent. However, little is known about how such reports should be written to maximize the agent's chances of producing a correct fix. We study what makes a bug report agent-ready. Starting from the SWE-bench Verified benchmark (i.e., a collection of 500 real repository issues with human-written gold patches and test suites for evaluating generated fixes) we manually classify each issue by change type (e.g., bug fix vs refactoring) and annotate each sentence with its information type, such as observed behavior, expected behavior, reproduction steps, localization cues, and suggested fixes. We focus on the 441 issues representing bug reports, and we run on them mini-swe-agent using three LLM backbones (i.e., GPT-5-mini, MiniMax M2.5, and Gemini 3 Flash). We then fit a binomial regression model to estimate the incremental association between each information type and agent success, controlling for confounding factors. Our results suggest that agentic-first reports benefit most from information that narrows the agent's search and repair space. Localization cues, such as references to affected code areas, are positively associated with successful repairs, while suggested fixes, expressed either in code or natural language, show some of the strongest positive associations with pass probability. An ablation study removing selected information types confirms that agents benefit less from information traditionally useful to humans, such as reproduction steps, and more from sentences that expose a repair direction, either through bug localization or a suggested fix.
- Abstract(参考訳): ソフトウェア開発はエージェント優先のワークフローへと向かっている。
これには、提出された発行レポートの初期修正を生成するAIエージェントが含まれる。
この設定では、イシューレポートはもはや人間のメンテナのためのドキュメントではない。
しかし、そのような報告が、エージェントが正しい修正を行う可能性を最大化するためにどのように書かれるべきかについては、ほとんど分かっていない。
バグレポートのエージェント対応について検討する。
SWE-bench Verifiedベンチマーク(例えば、人書き金のパッチと生成された修正を評価するためのテストスイートを含む500の実際のリポジトリ問題のコレクション)から始めて、変更タイプ(例えば、バグ修正とリファクタリング)で各問題を手作業で分類し、観察された振る舞い、期待された振る舞い、再生ステップ、ローカライゼーションキュー、提案された修正など、各文にその情報タイプをアノテートします。
LLMバックボーン(GPT-5-mini、MiniMax M2.5、Gemini 3 Flash)を使用して、バグレポートを表す441の課題に注目する。
次に、二項回帰モデルを用いて、各情報型とエージェント成功の漸進的関連を推定し、共起要因の制御を行う。
その結果,エージェントファーストレポートは,エージェントの検索・修理スペースを狭める情報から最も恩恵を受けることが示唆された。
影響のあるコード領域への参照などのローカライゼーションの手がかりは、修正の成功に肯定的な関連がある一方で、コードまたは自然言語で表現された修正提案は、パス確率に最も強い正の関連を示す。
選抜された情報型を除去するアブレーション研究により、エージェントは従来の人間にとって有用な情報、例えば再生ステップや、バグの局所化や修正によって修復の方向を明らかにする文章の恩恵が少ないことが確認された。
関連論文リスト
- Who is the Agent to Blame? Localizing Faithfulness and Citation Mistakes in Agentic Deep Research [75.8770212601511]
ディープリサーチ(DR)システムは、Webから情報を検索して合成する複数のエージェントを編成することで、長い形式の引用レポートを生成する。
循環はこれらの報告の忠実さを評価するための主要なメカニズムであるが、現在のDRシステムでは引用のリコールが不十分である。
そこで本稿では,エージェントが各エラーをローカルにテストすることで,各エラーをピンポイントで検出する手法を提案する。
論文 参考訳(メタデータ) (2026-08-25T09:34:18Z) - What Makes a Good Bug Report for an AI Agent? [8.139494830308486]
エージェントのための良いバグレポートは、重複するが、人間にとって良い報告ではない。
修正提案、複製スクリプト、リポジトリのソースコード、ローカライゼーション情報は、高い解像度の確率に関連付けられている。
人間の読者にとって長年強調されてきたいくつかの特質、例えば、自然言語のステップで読みやすい記述を再現し、より少ない成功にはほとんど寄与しないか、あるいは相関している。
論文 参考訳(メタデータ) (2026-07-08T16:13:15Z) - ReproRepo: Scaling Reproducibility Audits with GitHub Repository Issues [54.98461672730087]
ReproRepoは、人為的なGitHub問題を活用するスケーラブルな評価フレームワークで、現実的な再現ブロッカーを自然に監視する。
ReproRepoは、大規模なカンファレンスから1,149件の機械学習論文をインスタンス化し、4つのフロンティアモデルエージェント構成を評価します。
その結果, LLMエージェントは, コードを実行せずにも, 紙とリポジトリのペアから多くの実世界の問題を識別できることがわかった。
論文 参考訳(メタデータ) (2026-06-16T17:58:05Z) - Coding Agents Don't Know When to Act [3.2610504259514754]
コーディングエージェントは、ソフトウェアを自律的にメンテナンスするためにますますデプロイされる。
現実のデプロイメントでは、すでに解決済みの問題に関するバグレポートに遭遇します。
最先端のモデルでさえ失敗し、35ドルから65%のケースで望ましくない変更を提案する。
論文 参考訳(メタデータ) (2026-05-08T14:10:00Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳(メタデータ) (2026-04-05T17:55:23Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳(メタデータ) (2025-10-13T22:22:28Z) - Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。
単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。
現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。
AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
論文 参考訳(メタデータ) (2025-09-29T18:20:27Z) - Crash Report Enhancement with Large Language Models: An Empirical Study [21.842377922082104]
大規模言語モデルでは, 故障箇所, 根本原因の説明, 修復提案を追加することで, 事故報告を向上できるかどうかを検討する。
実世界の492件の事故報告のデータセットでは、LSMが実施した報告はTop-1問題局所化の精度を10.6%から40.2-43.1%に改善した。
手動による評価と LLM-as-a-judge の評価は,Agenic-LLM がより強力な根本原因の説明と,より実用的な修復指導を提供することを示している。
論文 参考訳(メタデータ) (2025-09-16T21:02:57Z) - Evaluating Agent-based Program Repair at Google [9.62742759337993]
エージェントベースのプログラム修復は、複雑なバグをエンドツーエンドで自動的に解決する。
最近の研究は、人気のあるオープンソースSWE-Benchにおけるエージェントベースの修復アプローチの使用について検討している。
本稿では,企業コンテキストにおけるバグに対処するためのエージェント的アプローチの適用可能性について検討する。
論文 参考訳(メタデータ) (2025-01-13T18:09:25Z) - On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。
不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。
本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文 参考訳(メタデータ) (2024-08-02T03:25:20Z) - Automatic Classification of Bug Reports Based on Multiple Text
Information and Reports' Intention [37.67372105858311]
本稿では,バグレポートの自動分類手法を提案する。
イノベーションは、バグレポートを分類する際に、レポートのテキスト情報に加えて、レポートの意図も考慮することである。
提案手法は性能が向上し,F-Measureは87.3%から95.5%に向上した。
論文 参考訳(メタデータ) (2022-08-02T06:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。