論文の概要: RAG Collapse: LLM Responses Collapse When Retrieved Documents Are Self-Authored

• arxiv url: http://arxiv.org/abs/2608.22118v1
• Date: Sat, 22 Aug 2026 22:06:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.615594
• Title: RAG Collapse: LLM Responses Collapse When Retrieved Documents Are Self-Authored
• Title（参考訳）: RAGの崩壊: 回収された文書が自己認証されたら、LCMの対応が崩れる
• Abstract要約: LLMレスポンスは(トレーニングやRAGを通じて)インターネットに基づいており、現在AIは大量のコンテンツをオンラインで生成するために使用されている。 LLMベースのAIシステムが検索ツールを用いて作成した参照を検索した場合にも同様の崩壊が起こることを示す。 LLMが自身のコンテンツを不均等に引用しているため、単一の自称参照でさえ崩壊を引き起こす可能性がある。
• 参考スコア（独自算出の注目度）: 1.5755923640031846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM responses are based on the internet (via training or RAG), and AI is now used to generate a significant amount of content online (Paredes et al., 2026), creating the potential for a self-reinforcing feedback loop. Prior work has shown that when LLMs are recursively trained on their own output, they experience model collapse (Shumailov et al., 2024): responses become less diverse, and eventually no longer resemble the original training data. In this paper, we show that a similar collapse occurs if LLM-based AI systems retrieve references they authored using a search tool. We call this RAG collapse. We conduct extensive experiments with three types of simulations of AI systems retrieving references they generated, using three model families, and 1,019 information-seeking prompts, totaling 1,528 simulations and over one million LLM API calls, and find that 79.6% (1,216/1,528) of simulations end in collapse. Surprisingly, even a single self-authored reference can trigger collapse because the LLM disproportionately cites its own content. This self-bias persists even after controlling for reference quality.
• Abstract（参考訳）: LLMレスポンスは(トレーニングやRAGを通じて)インターネットに基づいており、AIはオンラインでかなりの量のコンテンツを生成するために使用されている(Paredes et al , 2026)。 以前の研究は、LSMが自身の出力で再帰的にトレーニングされると、彼らはモデル崩壊(Shumailov et al , 2024): 応答はより多様になり、最終的には元のトレーニングデータと似ていないことを示した。 本稿では,LLMベースのAIシステムが検索ツールを用いて作成した参照を検索した場合に,同様の崩壊が発生することを示す。 私たちはこのRAG崩壊と呼んでいる。 3つのモデルファミリと1,019の情報検索プロンプトを使用して、生成した参照を検索する3種類のAIシステムのシミュレーションによる広範な実験を行い、合計1,528のシミュレーションと100万のLLM API呼び出しを行い、79.6%(1,216/1,528)のシミュレーションが崩壊するのを発見した。 驚いたことに、LLMが自身のコンテンツを不当に引用しているため、単一の自己承認参照でさえ崩壊を引き起こす可能性がある。 この自己バイアスは基準品質を制御した後でも持続する。

関連論文リスト

• When AI Reviews Its Own Code: Recursive Self-Training Collapse in Code LLMs [7.798940465229644]
  再帰的な自己学習は、生成されたデータが新鮮な人的データや外部品質管理なしで再利用されるときに、神経生成モデルを劣化させる可能性がある。 我々は、このリスクを、AI生成したコードが実際のリポジトリに入り、後にトレーニングデータになり、リポジトリスケールの自己学習ループを作成するLLMのコードで研究する。
  論文  参考訳（メタデータ） (2026-06-26T07:35:43Z)
• One Model Is Enough: Native Retrieval Embeddings from LLM Agent Hidden States [5.647839536820347]
  本稿では,隠れ状態を直接埋め込み空間にマッピングする軽量プロジェクションヘッドを提案する。 QReCCの会話型検索ベンチマークの実験では、標準生成コードパイプラインと比較して、Recall@10とMRR@10が競合している。
  論文  参考訳（メタデータ） (2026-03-09T14:25:35Z)
• Post-training an LLM for RAG? Train on Self-Generated Demonstrations [19.972220654354494]
  大規模言語モデル(LLM)は知識集約型NLPタスクとしばしば競合する。 検索拡張生成(RAG)は、モデルがコンテキスト内情報を利用することを可能にする。 自己生成型実演を用いたRAG対応LDMの学習法を提案する。
  論文  参考訳（メタデータ） (2025-02-14T23:00:49Z)
• Theoretical Proof that Auto-regressive Language Models Collapse when Real-world Data is a Finite Set [26.117724170912552]
  自動回帰言語モデル(LM)は、データスカース領域でデータを生成し、新しいLMを訓練するために広く使われている。 本稿では, コーパス(World Wide Webのサブセットなど)が生成データを組み込むようになり, コーパスに新たな実世界のデータが付加されることがなくなると, LM崩壊は十分な時間後に避けられないという理論的証明を示す。
  論文  参考訳（メタデータ） (2024-12-19T14:11:15Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• WikiContradict: A Benchmark for Evaluating LLMs on Real-World Knowledge Conflicts from Wikipedia [59.96425443250666]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル(LLM)の限界を緩和する,有望なソリューションとして登場した。 本研究では,ウィキペディアからの矛盾文に基づく質問に対するLLM生成回答の総合評価を行う。 我々は、単一のパスを持つRAGと2つの矛盾するパスを持つRAGを含む、様々なQAシナリオ下で、クローズドおよびオープンソース両方のLSMをベンチマークする。
  論文  参考訳（メタデータ） (2024-06-19T20:13:42Z)
• LLMs can learn self-restraint through iterative self-reflection [57.26854891567574]
  大規模言語モデル(LLM)は、特定のトピックに関連する知識と不確実性に基づいて、その振る舞いを動的に適応できなければならない。 この適応的行動は、私たちが自己規制と呼ぶもので、教えるのは簡単ではない。 モデルが信頼している場合にのみ応答を生成できるようにするユーティリティ関数を考案する。
  論文  参考訳（メタデータ） (2024-05-15T13:35:43Z)
• Reasoning on Efficient Knowledge Paths:Knowledge Graph Guides Large Language Model for Domain Question Answering [18.94220625114711]
  大きな言語モデル(LLM)は驚くほどよく機能し、多くのタスクにおいて人間の専門家より優れています。 本稿では,LLMに基づいてKGから推論経路を選択するパイプラインを統合し,最適化する。 また,思考の連鎖(CoT)とページランクに基づく,シンプルで効果的なサブグラフ検索手法を提案する。
  論文  参考訳（メタデータ） (2024-04-16T08:28:16Z)
• Self-Retrieval: End-to-End Information Retrieval with One Large Language Model [97.71181484082663]
  本稿では,新たなLLM駆動情報検索アーキテクチャであるSelf-Retrievalを紹介する。 自己検索は、自己教師付き学習を通じて検索コーパスを内部化し、検索プロセスをシーケンシャルな通過生成に変換し、再ランク付けのための関連性評価を行う。
  論文  参考訳（メタデータ） (2024-02-23T18:45:35Z)
• Feedback Loops With Language Models Drive In-Context Reward Hacking [78.9830398771605]
  フィードバックループがコンテキスト内報酬ハッキング(ICRH)を引き起こす可能性があることを示す。 ICRHに繋がる2つのプロセス、すなわちアウトプット・リファインメントとポリシー・リファインメントを同定し研究する。 AI開発が加速するにつれて、フィードバックループの効果が増大する。
  論文  参考訳（メタデータ） (2024-02-09T18:59:29Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
  ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか? LLMの事実知識を評価する統計的手法であるKaRRを提案する。 この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T18:54:37Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。