論文の概要: The Role of Parametric Injection-A Systematic Study of Parametric Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2510.12668v1
- Date: Tue, 14 Oct 2025 16:05:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-15 19:02:32.384229
- Title: The Role of Parametric Injection-A Systematic Study of Parametric Retrieval-Augmented Generation
- Title（参考訳）: パラメトリックインジェクションの役割-パラメトリック検索・拡張ジェネレーションの体系的研究
- Authors: Minghao Tang, Shiyu Ni, Jingtong Wu, Zengxin Han, Keping Bi,
- Abstract要約: パラノイド検索拡張生成(PRAG)は、ドキュメントをモデルパラメータとしてエンコードし、推論中にこれらの表現をモデルに注入する。
PRAGは文書の部分的意味情報のみをキャプチャし,それに依存するだけでテキストレベルでのインタラクションよりも性能が劣ることを示す。
パラメータ化された文書とテキスト文書を組み合わせると、モデルは関連情報をより効果的に活用し、ノイズの多い入力に対してより堅牢になる。
- 参考スコア（独自算出の注目度）: 8.544971676258971
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-augmented generation (RAG) enhances large language models (LLMs) by retrieving external documents. As an emerging form of RAG, parametric retrieval-augmented generation (PRAG) encodes documents as model parameters (i.e., LoRA modules) and injects these representations into the model during inference, enabling interaction between the LLM and documents at parametric level. Compared with directly placing documents in the input context, PRAG is more efficient and has the potential to offer deeper model-document interaction. Despite its growing attention, the mechanism underlying parametric injection remains poorly understood. In this work, we present a systematic study of PRAG to clarify the role of parametric injection, showing that parameterized documents capture only partial semantic information of documents, and relying on them alone yields inferior performance compared to interaction at text level. However, these parametric representations encode high-level document information that can enhance the model's understanding of documents within the input context. When combined parameterized documents with textual documents, the model can leverage relevant information more effectively and become more robust to noisy inputs, achieving better performance than either source alone. We recommend jointly using parameterized and textual documents and advocate for increasing the information content of parametric representations to advance PRAG.
- Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、外部文書を取得することで、大きな言語モデル(LLM)を強化する。
RAGの新しい形式として、パラメトリック検索拡張生成(PRAG)は、文書をモデルパラメータ(例えばLoRAモジュール)としてエンコードし、推論中にこれらの表現をモデルに注入し、LLMと文書間のパラメトリックレベルでの相互作用を可能にする。
入力コンテキストに直接文書を配置するのに比べ、PRAGはより効率的であり、より深いモデル文書間相互作用を提供する可能性がある。
注目されているにもかかわらず、パラメトリック・インジェクションの基礎となるメカニズムはいまだに理解されていない。
本研究では,パラメトリックインジェクションの役割を明らかにするためのPRAGの体系的研究を行い,パラメータ化された文書が文書の部分的意味情報のみをキャプチャし,それに頼るだけでテキストレベルでのインタラクションよりも性能が劣ることを示す。
しかし、これらのパラメトリック表現は、入力コンテキスト内の文書に対するモデルの理解を高めることができるハイレベルな文書情報をエンコードする。
パラメータ化された文書とテキスト文書を組み合わせると、モデルは関連する情報をより効果的に活用し、ノイズの多い入力に対してより堅牢になり、どちらの情報源よりも優れたパフォーマンスが得られる。
パラメータ化された文書とテキストの文書を共同で使用し,パラメトリック表現の情報量を増やしてPRAGを前進させることを推奨する。
関連論文リスト
- ABCD-LINK: Annotation Bootstrapping for Cross-Document Fine-Grained Links [57.514511353084565]
我々は、最高のパフォーマンスのアプローチを選択し、文書間リンクに注釈を付けるための新しいドメインに依存しないフレームワークを提案する。
当社のフレームワークを2つの異なるドメイン – ピアレビューとニュース – に適用しています。
結果として得られた新しいデータセットは、メディアフレーミングやピアレビューなど、数多くのクロスドキュメントタスクの基礎を築いた。
論文 参考訳（メタデータ） (2025-09-01T11:32:24Z) - Privacy-Preserving Reasoning with Knowledge-Distilled Parametric Retrieval Augmented Generation [37.36013238444145]
Parametric RAG (PRAG) は文書を LLM 内の LoRA としてエンコードすることでこの問題に対処する。
文書構造とパラメータアクティベーションにおける標準RAGと整合した知識蒸留パラメトリックRAGモデルであるDistilledPRAGを提案する。
4つのQAデータセットの実験では、DistilledPRAGは精度でベースラインを上回り、OODデータでうまく一般化している。
論文 参考訳（メタデータ） (2025-09-01T03:23:57Z) - Rational Retrieval Acts: Leveraging Pragmatic Reasoning to Improve Sparse Retrieval [29.652506774818267]
現在のスパース・ニューラル情報検索法は、単一の文書を表現する際に、文書収集と異なる項重み間の複雑な相互作用を考慮に入れない。
本稿では,言語学の枠組みであるRational Speech Acts (RSA) について述べる。
実験によると、RSAを組み込むことで、複数のスパース検索モデルと、ドメイン外のデータセットにおける最先端のパフォーマンスが一貫して改善される。
論文 参考訳（メタデータ） (2025-05-06T16:21:10Z) - Cognitive-Aligned Document Selection for Retrieval-augmented Generation [2.9060210098040855]
本稿では,クエリを動的に更新し,高品質で信頼性の高い検索文書をフィルタリングするGGatrievalを提案する。
ユーザクエリを構文コンポーネントにパースし、検索したドキュメントときめ細かいグラウンドアライメントを実行する。
提案手法では,検索した文書をフィルタリングするための新しい基準を導入し,ターゲット情報を取得するための人的戦略を密にエミュレートする。
論文 参考訳（メタデータ） (2025-02-17T13:00:15Z) - DOGR: Leveraging Document-Oriented Contrastive Learning in Generative Retrieval [10.770281363775148]
生成検索における文書指向コントラスト学習(DOGR)の活用という,新規で汎用的な生成検索フレームワークを提案する。
クエリとドキュメントの関係を,直接的なインタラクションを通じて包括的にキャプチャする,2段階の学習戦略を採用している。
意味表現の学習を促進するために、否定的サンプリング手法とそれに対応するコントラスト学習目的を実装した。
論文 参考訳（メタデータ） (2025-02-11T03:25:42Z) - Parametric Retrieval Augmented Generation [32.29608109539912]
Parametric RAGは、外部知識を直接フィードフォワードネットワークのパラメータに統合する新しいRAGパラダイムである。
これは、大きな言語モデルにおける知識増強の有効性と効率を大幅に向上させる。
論文 参考訳（メタデータ） (2025-01-27T10:04:49Z) - Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。
2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。
LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
論文 参考訳（メタデータ） (2024-10-08T15:22:36Z) - Efficient Document Ranking with Learnable Late Interactions [73.41976017860006]
クロスエンコーダ(CE)とデュアルエンコーダ(DE)モデルは,情報検索におけるクエリドキュメント関連性の2つの基本的なアプローチである。
関連性を予測するため、CEモデルは共同クエリドキュメントの埋め込みを使用し、DEモデルは分解クエリとドキュメントの埋め込みを維持している。
近年、DEM構造と軽量スコアラを用いて、より好ましいレイテンシ品質のトレードオフを実現するために、遅延相互作用モデルが提案されている。
論文 参考訳（メタデータ） (2024-06-25T22:50:48Z) - Continual Learning for Generative Retrieval over Dynamic Corpora [115.79012933205756]
生成検索(GR)はパラメトリックモデルに基づいて関連文書の識別子(ドシデクス)を直接予測する。
クエリに応答する能力を保ちながら、新しいドキュメントをインクリメンタルにインデックスする能力は、GRモデルを適用する上で不可欠である。
我々は,CLEVERモデルのための新しい連続学習モデルを提案し,GRのための連続学習に2つの大きな貢献をした。
論文 参考訳（メタデータ） (2023-08-29T01:46:06Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳（メタデータ） (2022-05-23T11:01:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。