論文の概要: How Do LLMs Read Bug Reports? An Empirical Study of Attention in LLMs for Automated Program Repair

• arxiv url: http://arxiv.org/abs/2607.25873v1
• Date: Tue, 28 Jul 2026 15:38:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.902077
• Title: How Do LLMs Read Bug Reports? An Empirical Study of Attention in LLMs for Automated Program Repair
• Title（参考訳）: LLMのバグレポートの読み方 : 自動プログラム修復のためのLCMの注意に関する実証的研究
• Abstract要約: 本稿では,Large Language Model (LLM) を用いたプログラム修復における注意パターンの実証的研究を行った。 実際のPythonとJavaの319のバグを分析し、バグレポートのセクション間でモデルの注意がどのように分散されているかを調査します。 修復は複数の診断部位に分散した注意が特徴である。
• 参考スコア（独自算出の注目度）: 7.1093539424910155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM)-based Automated Program Repair systems are advancing rapidly, yet their performance remains inconsistent. Even when provided with the same contextual information, an LLM may generate a correct patch for one bug but fail on another closely related bug. Why this happens remains poorly understood, and it is unclear how LLMs prioritize the diverse information in bug reports and whether model attention affects repair success. In this paper, we present the first empirical study of attention patterns in LLM-based program repair, providing interpretable insights into how models process bug reports and where their attention is concentrated during repair. We analyze 319 real-world Python and Java bugs from SWE-bench Verified and Multi-SWE-bench to study (RQ1) how model attention is distributed across bug report sections, (RQ2) how attention patterns within each section differ between successful and unsuccessful repairs, and (RQ3) how these patterns compare to information developers consider important for bug fixing. We find that successful repairs are characterized by diffused attention across multiple diagnostic components such as bug descriptions, stacktraces, and test cases, while failures often exhibit over-localized attention toward metadata such as version information. We further observe that stronger alignment between model attention and developer-identified key sections and phrases is associated with higher repair success. Our results provide the first empirical evidence that attention misallocation is a key factor in LLM-based APR failures, and offer actionable insights for designing more interpretable and reliable future APR systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)ベースの自動プログラム修復システムは急速に進歩しているが、その性能は相容れない。 同じコンテキスト情報を提供する場合であっても、LDMは1つのバグに対して正しいパッチを生成するが、別の関連するバグで失敗する可能性がある。 なぜこのようなことが起こるのかは未解明であり、LLMがバグレポートの多様な情報をどのように優先順位付けするか、モデルの注意が修復の成功にどう影響するかは定かではない。 本稿では,LLMによるプログラム修復における注意パターンの実証的研究を行い,モデルがどのようにバグ報告を処理し,どの点に注意が集中しているかを解釈可能な知見を提供する。 SWE-bench Verified and Multi-SWE-bench to study (RQ1) how model attention are across bug report section, (RQ2) 各セクション内の注意パターンが、成功と失敗の間にどのように異なるか、そして(RQ3)これらのパターンが、開発者がバグ修正に重要と考える情報と比較する方法について分析する。 バグ記述やスタックトレース,テストケースなど,複数の診断コンポーネントに分散した注意を特徴とする修復が成功しているのに対して,障害はバージョン情報などのメタデータに対して過度に局所的に注意を払っていることが判明した。 さらに,モデルアテンションと開発者識別キーセクション,フレーズのアライメントが,より高い修復成功に結びついていることも確認した。 この結果は,LLMに基づくAPRの故障において,注意のずれが重要な要因であることを示す最初の実証的証拠であり,より解釈可能で信頼性の高い将来のAPRシステムを設計するための実用的な洞察を提供する。

関連論文リスト

• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• InspectCoder: Dynamic Analysis-Enabled Self Repair through interactive LLM-Debugger Collaboration [71.18377595277018]
  大きな言語モデル(LLM)は、診断が難しい複雑なロジックエラーを伴うバグの多いコードを生成することが多い。 対話型デバッガ制御による動的解析を LLM に委ねる初のエージェントプログラム修復システムである InspectCoder を提案する。
  論文  参考訳（メタデータ） (2025-10-21T06:26:29Z)
• RelRepair: Enhancing Automated Program Repair by Retrieving Relevant Code [11.74568238259256]
  RelRepairは関連するプロジェクト固有のコードを取得し、プログラムの自動修復を強化する。 広く研究されている2つのデータセット、Defects4J V1.2 と ManySStuBs4J について RelRepair の評価を行った。
  論文  参考訳（メタデータ） (2025-09-20T14:07:28Z)
• Do AI models help produce verified bug fixes? [62.985237003585674]
  大規模言語モデルは、ソフトウェアバグの修正に使用される。 本稿では,プログラマが大規模言語モデルを用いて,自身のスキルを補完する方法について検討する。 その結果は、プログラムバグに対する保証された修正を提供するAIとLLMの適切な役割への第一歩となる。
  論文  参考訳（メタデータ） (2025-07-21T17:30:16Z)
• Towards Understanding Bugs in Distributed Training and Inference Frameworks for Large Language Models [7.486731499255164]
  本稿では,DeepSpeed,Megatron-LM,Colossal-AIの3つの分散トレーニング/推論フレームワークを対象に,308の固定バグの大規模解析を行った。 本研究は, バグ症状, 根本原因, バグの特定と修正の取り組み, および, 一般的な低ストレス修正戦略について検討する。
  論文  参考訳（メタデータ） (2025-06-12T07:24:59Z)
• AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
  大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。 従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。 さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
  論文  参考訳（メタデータ） (2024-06-24T15:16:45Z)
• A Deep Dive into Large Language Models for Automated Bug Localization and Repair [12.756202755547024]
  大規模言語モデル(LLM)は、自動プログラム修復(APR)など、様々なソフトウェアエンジニアリングタスクにおいて顕著な効果を示している。 本研究では,LSMを用いた自動バグ修正について深く検討する。 異なるLLMを用いてバグの局所化と修正を分離することにより、多様なコンテキスト情報の効果的な統合が可能になる。 Toggleは、CodeXGLUEコード改善ベンチマークで、新しい最先端(SOTA)パフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-04-17T17:48:18Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。