論文の概要: Detecting Incorrect LLM Explanations for Automated Program Repair

• arxiv url: http://arxiv.org/abs/2610.38311v2
• Date: Sun, 01 Nov 2026 04:37:17 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:32:55.302418
• Title: Detecting Incorrect LLM Explanations for Automated Program Repair
• Title（参考訳）: 自動プログラム修復における誤ったLCM記述の検出
• Abstract要約: 既存の手法は主に、一般的な質問応答 LLM からの誤った回答を対象とする。 メタモルフィックテストを用いて誤APR説明を検出するための最初の手法であるMetaReJを提案する。 複数のAPRシステムから1,756個の説明文を手動でラベル付けしたデータセット上でMetaReJを評価する。
• 参考スコア（独自算出の注目度）: 7.408773142576766
• License:
• Abstract: LLM-generated explanations help developers understand automated program repair (APR) rationale and assess patch quality. Incorrect explanations can mislead developers about a repair's reliability, making their detection important. However, manually inspecting the growing volume of generated repairs is impractical, motivating automated detection. Existing methods mainly target incorrect answers from general question-answering LLMs, often by sampling multiple responses and detecting contradictions. Applied to APR, they face two limitations: (1) they may depend on external verifiers that are unavailable or lack APR-specific reasoning; and (2) sampling strategies such as paraphrasing or re-prompting the same input often yield superficial, redundant responses that repeat the original error rather than expose it. We propose MetaReJ, the first method designed to detect incorrect APR explanations using metamorphic testing. Inspired by debate and viva examinations, MetaReJ challenges explanations through an argumentative strategy without requiring external verifiers. It applies novel metamorphic relations (MRs) to recursively question the LLM under equivalent and non-equivalent repair scenarios and detect contradictions. To obtain diverse samples, MetaReJ transforms the buggy program into variants that preserve or alter the underlying bug, then asks the LLM how to repair each variant. Contradictions among responses are encoded as MR violations, which indicate that the original explanation is incorrect. We evaluate MetaReJ on a manually labelled dataset of 1,756 explanations from multiple LLM-based APR systems. MetaReJ achieves an MCC of up to 0.43, outperforming prior methods by up to 333.3% in MCC.
• Abstract（参考訳）: LLMの生成した説明は、開発者が自動プログラム修正(APR)の根拠を理解し、パッチの品質を評価するのに役立つ。 不正確な説明は、開発者の修理の信頼性を誤解させ、その検出を重要にします。 しかし、発生した修復量の増大を手動で検査することは現実的ではなく、自動検出を動機付けている。 既存の手法は主に、複数の応答をサンプリングし、矛盾を検出することで、一般的な質問応答 LLM からの誤った回答をターゲットとする。 APRに適用された2つの制限は、(1)APR固有の推論を使用できないか、あるいは欠落している外部検証器に依存する可能性があること、(2)同じ入力を言い換えたり再プロンプトするといったサンプリング戦略は、オリジナルのエラーを露呈するよりも、表面的で冗長な応答をもたらすことが多いこと、である。 メタモルフィックテストを用いて誤APR説明を検出するための最初の手法であるMetaReJを提案する。 MetaReJは議論とヴィヴァの試験に刺激され、外部の検証を必要とせず、議論的な戦略を通じて説明に挑戦する。 等価かつ等価でない修復シナリオの下で LLM を再帰的に疑問視し、矛盾を検知するために、新しいメタモルフィック関係(MR)を適用する。 多様なサンプルを得るために、MetaReJはバグジープログラムをバグを保存または変更する変種に変換し、それぞれの変種を修復する方法をLLMに尋ねる。 応答間の矛盾はMR違反としてエンコードされ、元の説明が誤りであることを示す。 複数のLDMベースのAPRシステムから1,756個の説明文を手動でラベル付けしたデータセット上でMetaReJを評価する。 MetaReJ は最大 0.43 の MCC を達成し、MCC の 333.3% の先行手法を上回ります。

関連論文リスト

• Runtime Execution Traces Guided Automated Program Repair with Multi-Agent Debate [8.424102114588559]
  自動プログラム修復(APR)は複雑なロジックエラーとサイレント障害に悩まされる。 現在のLLMベースのAPRメソッドは主に静的であり、ソースコードと基本的なテスト出力に依存している。 我々は、パッチ検証のための共有制約としてランタイム事実を活用するマルチエージェントフレームワークであるTraceRepairを提案する。
  論文  参考訳（メタデータ） (2026-04-03T02:23:25Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Repairing vulnerabilities without invisible hands. A differentiated replication study on LLMs [5.10123605644148]
  自動脆弱性修復(AVR: Automated Vulnerability repair)は、プログラム修復の急激な分岐である。 近年の研究では、大きな言語モデル(LLM)が従来の手法より優れていることが示されている。
  論文  参考訳（メタデータ） (2025-07-28T16:39:16Z)
• Do AI models help produce verified bug fixes? [62.985237003585674]
  大規模言語モデルは、ソフトウェアバグの修正に使用される。 本稿では,プログラマが大規模言語モデルを用いて,自身のスキルを補完する方法について検討する。 その結果は、プログラムバグに対する保証された修正を提供するAIとLLMの適切な役割への第一歩となる。
  論文  参考訳（メタデータ） (2025-07-21T17:30:16Z)
• mR$^2$AG: Multimodal Retrieval-Reflection-Augmented Generation for Knowledge-Based VQA [78.45521005703958]
  マルチモーダル検索拡張生成(mRAG)はMLLMに包括的で最新の知識を提供するために自然に導入されている。 我々は、適応的検索と有用な情報ローカライゼーションを実現する textbfRetrieval-textbfReftextbfAugmented textbfGeneration (mR$2$AG) という新しいフレームワークを提案する。 mR$2$AG は INFOSEEK と Encyclopedic-VQA の最先端MLLM を著しく上回る
  論文  参考訳（メタデータ） (2024-11-22T16:15:50Z)
• MQM-APE: Toward High-Quality Error Annotation Predictors with Automatic Post-Editing in LLM Translation Evaluators [53.91199933655421]
  大規模言語モデル(LLM)は、機械翻訳(MT)の品質評価の裁判官として大きな可能性を秘めている。 非インパクト的なエラーをフィルタリングするアイデアに基づいて、ユニバーサルでトレーニング不要なフレームワークである$textbfMQM-APEを紹介します。 実験の結果,GEMBA-MQMに対する誤差の信頼性と品質の両方が一貫して改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-09-22T06:43:40Z)
• Re-Ex: Revising after Explanation Reduces the Factual Errors in LLM Responses [9.956253757863145]
  本稿では,大規模言語モデル(LLM)生成応答を後編集するRe-Exを提案する。 Re-Exは、事実的エラー説明ステップと呼ばれる新しい推論ステップを導入した。 説明ステップに加えて、Re-Exは、応答修正プロセスに必要なトークン数と推論時間を短縮する新しいプロンプト技術も取り入れている。
  論文  参考訳（メタデータ） (2024-02-27T00:22:18Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Conversational Automated Program Repair [10.071615423169902]
  本稿では,パッチ生成と検証を対話的に交互に行うプログラム修復のための新しいパラダイムを提案する。 我々は,大規模な事前学習型言語モデルの長期的コンテキストウインドウを活用して,以前の不正なパッチの生成を回避するだけでなく,検証フィードバックを取り入れて,テスト対象のプログラムの意味をモデルが理解できるようにする。
  論文  参考訳（メタデータ） (2023-01-30T19:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。