論文の概要: Stable-RAG: Mitigating Retrieval-Permutation-Induced Hallucinations in Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2601.02993v1
• Date: Tue, 06 Jan 2026 13:07:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.939078
• Title: Stable-RAG: Mitigating Retrieval-Permutation-Induced Hallucinations in Retrieval-Augmented Generation
• Title（参考訳）: スタブルRAG : 検索-置換誘導による検索-拡張世代における幻覚の緩和
• Authors: Qianchi Zhang, Hainan Zhang, Liang Pang, Hongwei Zheng, Zhiming Zheng,
• Abstract要約: Retrieval-Augmented Generationは、大規模言語モデルにおける事実幻覚を減らすための重要なパラダイムとなっている。 本稿では,置換誘導幻覚を緩和するために,置換感度推定を利用するStable-RAGを提案する。
• 参考スコア（独自算出の注目度）: 24.598044386822508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) has become a key paradigm for reducing factual hallucinations in large language models (LLMs), yet little is known about how the order of retrieved documents affects model behavior. We empirically show that under Top-5 retrieval with the gold document included, LLM answers vary substantially across permutations of the retrieved set, even when the gold document is fixed in the first position. This reveals a previously underexplored sensitivity to retrieval permutations. Although robust RAG methods primarily focus on enhancing LLM robustness to low-quality retrieval and mitigating positional bias to distribute attention fairly over long contexts, neither approach directly addresses permutation sensitivity. In this paper, we propose Stable-RAG, which exploits permutation sensitivity estimation to mitigate permutation-induced hallucinations. Stable-RAG runs the generator under multiple retrieval orders, clusters hidden states, and decodes from a cluster-center representation that captures the dominant reasoning pattern. It then uses these reasoning results to align hallucinated outputs toward the correct answer, encouraging the model to produce consistent and accurate predictions across document permutations. Experiments on three QA datasets show that Stable-RAG significantly improves answer accuracy, reasoning consistency and robust generalization across datasets, retrievers, and input lengths compared with baselines.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における事実幻覚を減らすための重要なパラダイムとなっているが、検索された文書の順序がモデル行動に与える影響についてはほとんど分かっていない。 実験により,ゴールド文書を含むトップ5検索において,ゴールド文書が第1位に固定された場合でも,LLMの解答は検索された集合の置換によって大きく異なることがわかった。 これにより、検索順列に対する未探索の感度が明らかになる。 頑健なRAG法は主に、低品質な検索に対するLLMの堅牢性の向上と、長期にわたる注意分散のための位置偏差の緩和に重点を置いているが、どちらの手法も直接、置換感度に対処していない。 本稿では,置換誘導幻覚を緩和するために,置換感度推定を利用するStable-RAGを提案する。 安定-RAGは、複数の検索順序の下でジェネレータを実行し、隠された状態をクラスタ化し、支配的な推論パターンをキャプチャするクラスタ中心表現からデコードする。 次に、これらの推論結果を使用して、正解に向けて幻覚出力を整列させ、文書の順列をまたいだ一貫性のある正確な予測をモデルに促す。 3つのQAデータセットの実験により、Stable-RAGは、ベースラインと比較して、データセット、検索者、入力長間での回答精度、推論一貫性、堅牢な一般化を著しく改善することが示された。

関連論文リスト

• Cooperative Retrieval-Augmented Generation for Question Answering: Mutual Information Exchange and Ranking by Contrasting Layers [2.007262412327553]
  CoopRAGは、レトリバーとLLMが協調して動作する質問応答タスクのための新しいRAGフレームワークである。 実験の結果、CoopRAGは3つのマルチホップQAデータセットと単純なQAデータセットに対して、最先端QA手法を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-12-11T08:35:17Z)
• IterKey: Iterative Keyword Generation with LLMs for Enhanced Retrieval Augmented Generation [24.108631023133704]
  IterKeyは、スパース検索によるRAGを強化する反復的なキーワード生成フレームワークである。 BM25ベースのRAGと単純なベースラインよりも5%から20%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-05-13T11:25:15Z)
• Chain-of-Retrieval Augmented Generation [91.02950964802454]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Corrective Retrieval Augmented Generation [36.04062963574603]
  Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。 生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
  論文  参考訳（メタデータ） (2024-01-29T04:36:39Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
  Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
  論文  参考訳（メタデータ） (2023-04-06T22:16:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。