論文の概要: Detecting and Repairing Hallucinations in Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2608.29307v1
• Date: Sat, 29 Aug 2026 14:46:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.920454
• Title: Detecting and Repairing Hallucinations in Retrieval-Augmented Generation
• Title（参考訳）: 検索型世代における幻覚の検出と修復
• Authors: Sai Krishna Reddy Mulakkayala, Niki van Stein, Aske Plaat,
• Abstract要約: 検索されたテキストでモデルをグラウンドすることは、サポートされないステートメントを減らすが、それを排除しない。 RAGTruthという,手動でアノテートしたベンチマークを用いて,各フラグ付き回答を個々の事実的クレームに分割した。 リッチ性を高めるための3つの修復戦略 – サポート対象のクレームを削除すること,ソーステキストに置き換えること,そしてそれを書き換えること – で回答を手元に残すことを比較した。
• 参考スコア（独自算出の注目度）: 0.6918455480131248
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models increasingly answer questions by consulting retrieved documents rather than memory alone, a design now common in search assistants and enterprise knowledge tools. Grounding a model in retrieved text reduces unsupported statements but does not eliminate them, and a reader cannot tell a grounded sentence from an invented one. Most research on this problem stops at detection, yet flagging a faulty answer changes nothing for the person reading it, and little is known about which action should follow. Using RAGTruth, a benchmark whose unsupported passages are annotated by hand, we split each flagged answer into individual factual claims, check each against the retrieved source, and compare leaving the answer untouched with three repair strategies of increasing richness: deleting an unsupported claim, replacing it with source text, and rewriting it. Three language models from different families judge the 916 repaired answers. Every strategy reduces the proportion of answers judged to contain unsupported content, and all three judges agree on the ordering. Deletion achieves the largest reduction while retaining least of the original answer, at 64.3% of the text, whereas rewriting retains 80.1% and reduces least. Repair is not confined to faulty answers: 83.5% of answers annotated clean are edited too. The strategies occupy different points on a grounding preservation trade-off rather than forming a quality ranking, and choosing between them needs evidence about answer usefulness that automatic metrics cannot supply.
• Abstract（参考訳）: 言語モデルは、検索アシスタントや企業知識ツールで一般的なデザインであるメモリのみではなく、検索した文書を参照することによって、ますます疑問に答えるようになっている。 検索されたテキストでモデルをグラウンドすることは、サポートされていないステートメントを減らすが、それを排除しない。 この問題に関するほとんどの研究は、検出時に停止するが、欠陥のある回答をフラグ付けしても、読んでいる人には何も変わらない。 手動でアノテートされたベンチマークであるRAGTruthを用いて、各フラグ付き回答を個々の事実的クレームに分割し、検索したソースに対してそれぞれを確認し、未修正の回答をリッチ性を高めるための3つの修復戦略で残し、アノベートされたクレームを削除し、ソーステキストに置き換え、書き直しする。 異なる家庭の3つの言語モデルが、916の解答を修復したと判断した。 あらゆる戦略は、支持できない内容を含むと判断された回答の割合を減らし、3人の裁判官全員が命令に同意する。 削除は元の回答の少なくとも64.3%を維持しながら最大の削減を達成し、書き直しは80.1%を維持し、最小の削減を達成している。 修復は欠陥のある回答に限らず、クリーンな注釈付き回答の83.5%も編集される。 それらの戦略は、品質ランキングを形成するのではなく、保存トレードオフの根拠として異なるポイントを占めており、それらを選択するには、自動メトリクスが供給できない答えの有用性に関する証拠が必要である。

関連論文リスト

• Prompt-Based Abstention Fails Under Misleading Context: A Controlled Study of Small Frozen RAG Models [0.0]
  誤りや誤解を招く証拠は、検索強化世代でも同じ問題ではない。 証拠が欠落している場合、モデルは確実に棄却されるが、明示的な棄却の下では、誤解を招く質問の41.6%は依然として答えている。
  論文  参考訳（メタデータ） (2026-08-23T05:43:27Z)
• Grading Needs a Rubric, Not Intelligence [0.0]
  小さい言語モデルは、明示的なルーリックに対して格付けするときに、かなり高価なモデルと同じくらい確実に、オープンエンドの検査回答を格付けすることができる。 モデルファミリを2つのモデルファミリから6つのコスト効率モデル構成を3つの理由づけで評価した。
  論文  参考訳（メタデータ） (2026-08-18T16:00:05Z)
• Reclaim Evaluation: A Lossy Memory Is Worse Than an Empty One [0.0]
  言語モデルのメモリは、メモリを全く持たないよりも悪い場合がある。 間違った結論を維持しながら、その背後にある作業を捨てるメモリは、確実な答えとして古い値を出力する。
  論文  参考訳（メタデータ） (2026-06-24T06:24:53Z)
• Do LLMs Benefit From Their Own Words? [56.73014497206615]
  先行するアシスタント応答の除去は,少数のターンにおいて応答品質に影響を与えないことがわかった。 アシスタント側コンテキストのオミッティングは、累積コンテキストの長さを最大10倍に減らすことができる。 本研究は, 記憶量削減を図り, アシスタント履歴を選択的に省略することで, 応答品質を向上できることを示唆する。
  論文  参考訳（メタデータ） (2026-02-27T18:58:26Z)
• I Could've Asked That: Reformulating Unanswerable Questions [89.93173151422636]
  我々は、解決不可能な質問を改定するためのオープンソースおよびプロプライエタリなモデルを評価する。 GPT-4とLlama2-7Bは、それぞれ26%と12%しか質問を修正できなかった。 ベンチマークとコードを公開して実験を再現します。
  論文  参考訳（メタデータ） (2024-07-24T17:59:07Z)
• Localizing and Mitigating Errors in Long-form Question Answering [79.63372684264921]
  LFQA(Long-form Question answering)は、複雑な質問に対して徹底的で深い回答を提供し、理解を深めることを目的としている。 この研究は、人書きおよびモデル生成LFQA回答の局所的エラーアノテーションを備えた最初の幻覚データセットであるHaluQuestQAを紹介する。
  論文  参考訳（メタデータ） (2024-07-16T17:23:16Z)
• Teaching language models to support answers with verified quotes [12.296242080730831]
  オープンブック”QAモデルをトレーニングし、その一方で、その主張に関する具体的な証拠を引用しています。 2800億のパラメータモデルであるGopherCiteは、高品質なサポートエビデンスで回答を生成し、不確実な場合には回答を控えることができます。
  論文  参考訳（メタデータ） (2022-03-21T17:26:29Z)
• Tackling Multi-Answer Open-Domain Questions via a Recall-then-Verify Framework [38.807388762378444]
  オープンドメインの質問は、オープンで曖昧であり、複数の有効な答えをもたらす可能性が高い。 既存のアプローチでは、読者が上位のエビデンスを読んで答えを予測する、rerank-then-readフレームワークが一般的である。 本フレームワークは,2つの複数問合せデータセットに対して,新たな最先端結果を実現し,オラクルリランカを用いた再読解システムよりもはるかに多くのゴールド回答を予測した。
  論文  参考訳（メタデータ） (2021-10-16T10:48:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。