論文の概要: Better Understanding, Better Fixes? A Study of Hallucination in LLM-based Automated Program Repair

• arxiv url: http://arxiv.org/abs/2609.04909v1
• Date: Fri, 04 Sep 2026 09:11:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.991092
• Title: Better Understanding, Better Fixes? A Study of Hallucination in LLM-based Automated Program Repair
• Title（参考訳）: より良い理解と改善 : LLMによる自動プログラム修復における幻覚の研究
• Abstract要約: 大規模言語モデル(LLM)は、大幅に進歩した自動プログラム修復(APR)を備えている。 APRでは、幻覚は最終パッチだけでなく、パッチ生成を導く中間アーティファクトにも生じうる。 我々は幻覚を、利用可能な修復証拠に忠実に根ざしていないパッチや中間的アーティファクトの生成として特徴づける。
• 参考スコア（独自算出の注目度）: 27.262974988013728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have significantly advanced automated program repair (APR), yet existing evaluations remain largely result-centric and provide limited insight into hallucination during repair. In APR, hallucination may arise not only in final patches but also in the intermediate artifacts that guide patch generation. To address this gap, we perform a multi-layered analysis of hallucination throughout the APR process. Specifically, we characterize hallucination as the production of patches or intermediate artifacts that are not faithfully grounded in the available repair evidence. We examine repair hallucination in final patches and understanding hallucination in intermediate artifacts through three tasks, namely triggering testcase identification, line coverage prediction, and additional testcase generation.We then evaluate three representative LLMs on 832 Defects4J bugs through automatic evaluation and manual analysis. Our results show that both repair and understanding hallucinations remain prevalent. Across models and settings, only 21.0%-55.9% of generated patches pass the developer-written test suite. Moreover, although more accurate intermediate artifacts are generally associated with successful repairs, this relationship does not always hold. Manual analysis of 812 sampled repairs identifies repair hallucinations in 72.7% of cases, including patches that pass all available tests; incorrect causal localization and incorrect repair strategies account for 45.9% and 18.5% of these hallucinations, respectively. Meanwhile, models frequently misidentify triggering testcases, mispredict line coverage involving branching control flow, and generate additional testcases with missing bug-triggering conditions or incorrect expected behavior.
• Abstract（参考訳）: 大規模言語モデル (LLM) は大幅に高度に自動プログラム修復 (APR) されているが、既存の評価は結果中心であり、修理中の幻覚についての知見は限られている。 APRでは、幻覚は最終パッチだけでなく、パッチ生成を導く中間アーティファクトにも生じうる。 このギャップに対処するため、我々はAPRプロセスを通して幻覚の多層解析を行う。 具体的には,補修証拠に忠実に基づかないパッチや中間人工物の生成として幻覚を特徴づける。 最終パッチの修復幻覚と中間アーティファクトの幻覚の理解を3つのタスク,すなわちテストケース識別,ラインカバレッジ予測,追加のテストケース生成を通じて検討し,自動評価と手動解析により832欠陥4Jバグの3つの代表的なLCMを評価した。 以上の結果から, 幻覚の修復と理解が相変わらず進行していることが示唆された。 モデルと設定全体で、生成されたパッチの21.0%-55.9%しか開発者が書いたテストスイートをパスしない。 さらに、より正確な中間アーティファクトは、一般的には修復の成功と関連付けられているが、この関係は常に成り立つわけではない。 812件のサンプル修復を手作業で分析した結果、全ての検査に合格するパッチを含む72.7%の症例で修復幻覚が検出され、それぞれ45.9%と18.5%となっている。 一方、モデルは多くの場合、テストケースのトリガー、分岐制御フローを含む予測ラインのカバレッジの誤認、バグのトリガー条件の欠如や誤った予測動作を伴う追加のテストケースの生成を誤認する。

関連論文リスト

• Validation Evidence in LLM Repair Agents: How Much of What Passes Actually Tests the Bug? [1.6787220460106658]
  BSG-VAは、各バリデーションコマンドをその正確な作業ツリー状態にキャプチャし、テストのみのパッチを抽出し、元のバギーコードでコマンドを再生する。 キャプチャされた結果とリプレイ結果は、ゴールドアラインのバグ識別からレグレッションのみ、誤解を招くまで、すべてのイベントにエビデンスの役割を割り当てます。 エージェントにB-replay結果を返すかどうかを3本腕で実験すると、このパターンが変わる。
  論文  参考訳（メタデータ） (2026-07-30T22:32:14Z)
• Beyond Fail-to-Pass: Iterative Hardening of Co-Generated Bug Reproduction Tests and Fixes [55.114939648705395]
  大規模言語モデル(LLM)は、現実のバグに対して、プログラムの自動修正をますます実用的にしている。 バグ再現テスト(BRT)は、バグレポートを実行可能なバグ固有の信号に変換することで、このギャップを埋めるのに役立つ。 本稿では,ループ内収束基準としてLax信号を用いるコジェネレーションフレームワークであるCoHardenを提案する。
  論文  参考訳（メタデータ） (2026-07-22T07:30:07Z)
• Empirical Analysis and Detection of Hallucinations in LLM-Generated Bug Report Summaries [0.7666240799116113]
  大きな言語モデル(LLM)は、ソフトウェアバグレポートの要約を生成するためにますます使われています。 LLMは、説得力のある幻覚を生成するが、ソースレポートではサポートされない。 これにより、開発者を誤解させ、自動メンテナンスツールへの信頼を減らすことができる。
  論文  参考訳（メタデータ） (2026-05-22T18:55:46Z)
• Historian: Reducing Manual Validation in APR Benchmarking via Evidence-Based Assessment [0.19853810231896352]
  我々は,大規模言語モデルを利用して,歴史的に検証されたパッチの知識ベースに対して,複数参照比較を行うフレームワークであるHistorianを提案する。 アウト・ワン・ツールアウトの評価では、ヒストリアンは95.0%のカバレッジを88.4%の精度で達成し、手作業による検証を5%に削減した。
  論文  参考訳（メタデータ） (2026-02-28T13:41:29Z)
• Counterfactual Probing for Hallucination Detection and Mitigation in Large Language Models [0.0]
  本研究では,大規模言語モデルにおける幻覚の検出と緩和のための新しいアプローチである,対物探索を提案する。 提案手法は, 疑わしいが微妙な事実誤りを含む反事実文を動的に生成し, これらの摂動に対するモデルの感度を評価する。
  論文  参考訳（メタデータ） (2025-08-03T17:29:48Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• The HalluRAG Dataset: Detecting Closed-Domain Hallucinations in RAG Applications Using an LLM's Internal States [0.5573267589690007]
  我々は、トレーニングで使われていない情報を含む幻覚に焦点を当て、それは、カットオフ後の情報を確実にするために、正確性を用いて決定する。 本研究では,様々な言語モデルの内部状態を用いて,これらの幻覚を文レベルで検出する。 以上の結果から,IAVはCEVと同じくらい効果的に幻覚を検知し,解答可能なプロンプトと解答不能なプロンプトは別個の分類器としてコード化されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-12-22T15:08:24Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of LLMs by Validating Low-Confidence Generation [76.34411067299331]
  大規模な言語モデルは、しばしば信頼性を著しく損なう「ハロシン化」する傾向がある。 生成過程における幻覚を積極的に検出・緩和する手法を提案する。 提案手法は, GPT-3.5モデルの幻覚を平均47.5%から14.5%に低減する。
  論文  参考訳（メタデータ） (2023-07-08T14:25:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。