論文の概要: Decoupling Knowledge and Task Subspaces for Composable Parametric Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2604.26768v1
• Date: Wed, 29 Apr 2026 15:00:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.450064
• Title: Decoupling Knowledge and Task Subspaces for Composable Parametric Retrieval Augmented Generation
• Title（参考訳）: 合成可能なパラメトリック検索拡張生成のための知識とタスク部分空間の分離
• Authors: Weihang Su, Hanwen Zhang, Qingyao Ai, Yiqun Liu,
• Abstract要約: Parametric Retrieval-Augmented Generation (PRAG)は、外部文書を軽量パラメータモジュールにエンコードし、推論時に検索およびマージすることができる。 その可能性にもかかわらず、多くのPRAG実装はタスク管理対象のドキュメントアダプタを訓練している。 この絡み合いにより、複数のアダプタが推論時にマージされる場合、アダプタ構成の信頼性が低下する可能性がある。
• 参考スコア（独自算出の注目度）: 30.955158253465413
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Parametric Retrieval-Augmented Generation (PRAG) encodes external documents into lightweight parameter modules that can be retrieved and merged at inference time, offering a promising alternative to in-context retrieval augmentation. Despite its potential, many PRAG implementations train document adapters with task-supervised objectives, which may cause each adapter to encode both document-specific facts and reusable task-solving behavior. This entanglement may make adapter composition less reliable: when multiple adapters are merged at inference time, their overlapping task behaviors can accumulate together with document-specific updates, potentially making the merged adapter less stable and less focused on the intended document knowledge. To examine this issue, we explore Orthogonal Subspace Decomposition (OSD), an adapter-training setup that separates reusable task behavior from document-specific knowledge adapters. Concretely, we first train a Task LoRA to capture reusable task behavior, and then train document LoRAs to encode document-specific knowledge in a orthogonal subspace. This setup provides a controlled way to examine how orthogonalizing task and document LoRA updates affects adapter composition in multi-document PRAG. Experiments across multiple knowledge-intensive tasks and model scales suggest that this orthogonalization strategy can improve compositional robustness in parametric RAG, especially when multiple document adapters are merged.
• Abstract（参考訳）: Parametric Retrieval-Augmented Generation (PRAG)は、外部文書を軽量パラメータモジュールにエンコードし、推論時に検索およびマージできる。 その可能性にもかかわらず、多くのPRAG実装はタスク管理対象のドキュメントアダプタを訓練しており、各アダプタはドキュメント固有の事実と再利用可能なタスク解決動作の両方をエンコードする可能性がある。 この絡み合いにより、複数のアダプタが推論時にマージされると、重複するタスクの振る舞いがドキュメント固有の更新と共に蓄積され、マージされたアダプタの安定性が低下し、意図されたドキュメント知識に焦点が当てられなくなる可能性がある。 そこで本研究では,再利用可能なタスク動作と文書固有の知識アダプタを分離するアダプタ学習環境であるOrthogonal Subspace Decomposition(OSD)について検討する。 具体的には、まずタスクLoRAをトレーニングし、再利用可能なタスクの振る舞いをキャプチャし、次に文書固有の知識を直交部分空間にエンコードするようにドキュメントLoRAを訓練する。 このセットアップは、直交タスクとドキュメントのLoRA更新が、マルチドキュメントPRAGのアダプタ構成にどのように影響するかを調べるための制御された方法を提供する。 複数の知識集約型タスクとモデルスケールにわたる実験は、この直交化戦略がパラメトリックRAGの構成ロバスト性を改善することを示唆している。

関連論文リスト

• Align then Train: Efficient Retrieval Adapter Learning [16.855103318831073]
  本稿では,自己教師付きアライメントと教師付きアライメントの2つの段階において,検索アダプタを訓練するラベル効率のフレームワークを提案する。 MAIRベンチマークの実験は、6つのドメインで126の検索タスクにまたがっており、ERAが低ラベル設定での検索を改善することを示している。
  論文  参考訳（メタデータ） (2026-04-03T19:04:42Z)
• Model Editing for New Document Integration in Generative Information Retrieval [110.90609826290968]
  生成検索(GR)は文書識別子(docID)の生成として情報検索(IR)タスクを再構成する 既存のGRモデルは、新たに追加されたドキュメントへの一般化が不十分で、しばしば正しいドキュメントIDを生成できない。 DOMEは,GRモデルを非表示文書に効果的かつ効率的に適応する新しい手法である。
  論文  参考訳（メタデータ） (2026-03-03T09:13:38Z)
• Parametric Retrieval-Augmented Generation using Latent Routing of LoRA Adapters [27.694134466842502]
  Parametric Retrieval-Augmented Generation (PRAG)は、外部知識を直接Large Language Model (LLM)に統合する。 現在のPRAGアプローチでは、個々のドキュメントに専用のLoRAアダプタを使用して、textbfone-to-oneドキュメントエンコーディング方式を採用している。 本稿では,潜在経路符号化プロセスを利用するPRAGにおける経路の符号化のための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-11-21T08:44:21Z)
• Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
  本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。 ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。 ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
  論文  参考訳（メタデータ） (2025-01-23T07:49:24Z)
• MergeRepair: An Exploratory Study on Merging Task-Specific Adapters in Code LLMs for Automated Program Repair [5.006064616335817]
  大規模言語モデル(LLM)は、いくつかのソフトウェア開発関連のタスクで高い能力を示している。 アダプタは特定のニーズに合わせてLSMをカスタマイズするより効率的な方法を提供する。 モデル(およびアダプタ)のマージは、複数のタスクが可能な1つのモデルを開発する技術として登場した。
  論文  参考訳（メタデータ） (2024-08-18T18:45:48Z)
• The Power of Summary-Source Alignments [62.76959473193149]
  多文書要約(MDS)は難しい課題であり、しばしばサリエンスと冗長性検出のサブタスクに分解される。 参照要約とそのソース文書間の対応する文のアライメントを利用して、トレーニングデータを生成する。 本稿では,よりきめ細かな提案スパンレベルで適用することで,要約ソースアライメントフレームワークを拡張することを提案する。
  論文  参考訳（メタデータ） (2024-06-02T19:35:19Z)
• Towards Modular LLMs by Building and Reusing a Library of LoRAs [64.43376695346538]
  マルチタスクデータに対して最適なアダプタライブラリを構築する方法について検討する。 モデルベースクラスタリング(MBC)を導入し,パラメータの類似性に基づいてタスクをグループ化する手法を提案する。 ライブラリを再使用するために,最も関連性の高いアダプタの動的選択を可能にする新しいゼロショットルーティング機構であるArrowを提案する。
  論文  参考訳（メタデータ） (2024-05-18T03:02:23Z)
• Plug-and-Play Document Modules for Pre-trained Models [92.9897146991974]
  PTM用文書プラグイン(PlugD)として,各文書をプラグイン・アンド・プレイ用文書モジュールとして表現することを提案する。 ダウンストリームタスクのためにドキュメントプラグインをバックボーンPTMに挿入することで、ドキュメントを一度エンコードして複数のタスクを処理することができます。 典型的な4つのNLPタスクの8つのデータセットの実験では、PlugDによって、さまざまなシナリオにまたがって、複数のドキュメントをエンコードすることが可能である。
  論文  参考訳（メタデータ） (2023-05-28T08:01:40Z)
• Multi-Head Adapter Routing for Cross-Task Generalization [56.75667096355806]
  ポリトロポンは、事前訓練と少数ショット適応の両方の間、各タスクのアダプタのサブセットを選択するルーティング関数とアダプタのインベントリを学習する。 複数タスクの事前学習において、数ショットの適応よりもルーティングの方が有益であることがわかった。
  論文  参考訳（メタデータ） (2022-11-07T19:35:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。