論文の概要: RING: Retrieval-Internalized Generation for Continual Large-Scale Knowledge Injection
- arxiv url: http://arxiv.org/abs/2608.01630v1
- Date: Mon, 03 Aug 2026 03:00:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.30774
- Title: RING: Retrieval-Internalized Generation for Continual Large-Scale Knowledge Injection
- Title（参考訳）: RING:連続的大規模知識注入のための検索インターナライズドジェネレーション
- Abstract要約: Retrieval-augmented Generation (RAG)は、事実性を改善すると同時に、サービス時のレイテンシとエンジニアリングオーバーヘッドを追加する。
アーキテクチャとトレーニングの両方にまたがる全体的パラダイムであるRING(Retrieval-Internalized Generation)を提案する。
- 参考スコア（独自算出の注目度）: 88.56816599695391
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-augmented generation (RAG) improves factuality but adds latency and engineering overhead at serving time. We propose RING (Retrieval-Internalized Generation), a holistic paradigm spanning both architecture and training that injects large-scale external knowledge into a \textit{Mixture-of-Memory Experts} and learns parametric search over this internal memory via reinforcement learning, removing the external retriever entirely. Training proceeds in three stages: continued pre-training injects new corpora into a Knowledge Expert via our novel \textit{Dual Causal Attention}; supervised fine-tuning teaches a ``search-then-answer'' pattern; and reinforcement learning with hierarchical rewards optimizes the routing-and-search policy over the parametric memory. Unlike prior parametric injection methods that pair internal memory with a fixed or rule-based retriever, RING {learns} its retrieval policy directly from task signals. We further frame RING theoretically as a search-free approximation to the classical RAG objective. To evaluate large-scale injection of genuinely {new} knowledge without test-time leakage, we further construct News-2025, a benchmark built from news strictly post-dating the base LLM's pretraining cutoff. RING matches or surpasses both search-based RAG and parametric injection baselines in accuracy and efficiency.
- Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、事実性を改善すると同時に、サービス時のレイテンシとエンジニアリングオーバーヘッドを追加する。
本稿では、アーキテクチャとトレーニングの両方にまたがる総合パラダイムであるRING(Retrieval-Internalized Generation)を提案する。これは、大規模な外部知識を \textit{Mixture-of-Memory Experts} に注入し、強化学習を通じてこの内部メモリ上のパラメトリック探索を学習し、外部レトリバーを完全に除去する。
トレーニングは次の3段階で行われる: 継続事前学習は、私たちの小説『textit{Dual Causal Attention}』を通して知識エキスパートに新しいコーパスを注入し、監督された微調整は『search-then-answer'』パターンを教え、階層的な報酬による強化学習はパラメトリックメモリ上でのルーティングと検索ポリシーを最適化する。
内部メモリと固定またはルールベースのレトリバーをペアリングする従来のパラメトリックインジェクション法とは異なり、RING {learns} はその検索ポリシーをタスク信号から直接定義する。
我々は、Ringを古典的なRAG目的に対する探索自由近似として理論的にフレーム化する。
テストタイムリークを伴わない,真に「新しい」知識の大規模注入を評価するため,基地局の事前学習遮断を厳格に後付けしたニュースから構築したベンチマークであるNews-2025を構築した。
RINGは、検索ベースのRAGとパラメトリックインジェクションベースラインの両方を精度と効率で一致または超える。
関連論文リスト
- Surface-Form Neural Sparse Retrieval: Robust Fuzzy Matching for Industrial Music Search [6.820455959856271]
クエリは、ミススペル、トランスポジション、音声のバリエーションによるインデックス付きメタデータから頻繁に逸脱する。
既存の学習・検索システムであるHigh Confidence Index (HCI)は、顧客の行動からクエリ・エンティティ・アソシエーションを学習する。
従来のn-gramマッチングは、この探索を可能にするが、セマンティックロバスト性や高雑音に悩まされる。
本稿では,探索効率を最大化するために,テキストフロバスト型ニューラルスパース検索システムを提案する。
論文 参考訳（メタデータ） (2026-05-18T02:29:25Z) - Retrieval Augmented Conversational Recommendation with Reinforcement Learning [43.40183980321253]
大規模言語モデル(LLM)は、言語理解と生成の強化された能力を示す。
本稿では,新たな2段階検索拡張会話推薦フレームワークであるRARを紹介する。
論文 参考訳（メタデータ） (2026-04-06T06:08:03Z) - AutoResearch-RL: Perpetual Self-Evaluating Reinforcement Learning Agents for Autonomous Neural Architecture Discovery [5.110708177092157]
本稿では、強化学習エージェントが人間の監督なしにオープンエンドニューラルネットワーク研究を行うためのフレームワークであるAutoResearch-RLを提案する。
我々はこれをマルコフ決定過程として定式化し、軽微な仮定の下で収束保証を導出し、1つのGPUナノチャット事前学習ベンチマークで経験的に実証する。
論文 参考訳（メタデータ） (2026-03-07T17:49:44Z) - Multi-hop Reasoning via Early Knowledge Alignment [68.28168992785896]
アーリー・ナレッジ・アライメント(EKA)は、大規模言語モデルと文脈的に関連づけられた知識を整合させることを目的としている。
EKAは検索精度を大幅に改善し、カスケードエラーを低減し、性能と効率を向上する。
EKAは、大規模モデルにシームレスにスケールする、多目的でトレーニング不要な推論戦略として有効である。
論文 参考訳（メタデータ） (2025-12-23T08:14:44Z) - MARAG-R1: Beyond Single Retriever via Reinforcement-Learned Multi-Tool Agentic Retrieval [50.30107119622642]
大規模言語モデル(LLM)は推論と生成において優れているが、本質的には静的事前学習データによって制限されている。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識に基盤を置くことでこの問題に対処する。
MarAG-R1は、LLMが複数の検索機構を動的に調整できる強化学習型マルチツールRAGフレームワークである。
論文 参考訳（メタデータ） (2025-10-31T15:51:39Z) - Rethinking On-policy Optimization for Query Augmentation [49.87723664806526]
本稿では,様々なベンチマークにおいて,プロンプトベースとRLベースのクエリ拡張の最初の体系的比較を示す。
そこで我々は,検索性能を最大化する擬似文書の生成を学習する,新しいハイブリッド手法 On-policy Pseudo-document Query Expansion (OPQE) を提案する。
論文 参考訳（メタデータ） (2025-10-20T04:16:28Z) - MLP Memory: A Retriever-Pretrained Memory for Large Language Models [39.890098399493986]
NLPRAG Memoryは、明示的なドキュメントアクセスなしに検索パターンを内部化する軽量パラメトリックモジュールである。
我々のアーキテクチャは、このトレーニング済みメモリとトランスフォーマーデコーダを単純な確率で統合し、WikiText-103とWebデータセットでそれぞれ17.5%と24.1%のスケーリングゲインを得る。
論文 参考訳（メタデータ） (2025-08-03T16:40:53Z) - R1-Searcher++: Incentivizing the Dynamic Knowledge Acquisition of LLMs via Reinforcement Learning [83.256752220849]
大きな言語モデル(LLM)は強力だが、静的な知識によって幻覚を起こす傾向がある。
内部および外部の知識ソースを適応的に活用するLLMのトレーニングを目的としたフレームワークであるR1-Searcher++を紹介する。
実験の結果,R1-Searcher++は従来のRAG法や推論法より優れ,効率的な検索が可能であった。
論文 参考訳（メタデータ） (2025-05-22T17:58:26Z) - Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization [95.85537087475882]
既存のアプローチは、大規模言語モデル(LLM)の固有の知識を過小評価している。
本稿では,選択検索と知識の言語化を結びつける新しいフレームワークであるSelf-Routing RAGを提案する。
SR-RAGは検索回数を29%削減し、性能は5.1%向上した。
論文 参考訳（メタデータ） (2025-04-01T17:59:30Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA)
我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。
オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-02-27T13:22:51Z) - Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。
我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
論文 参考訳（メタデータ） (2020-05-22T21:34:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。