論文の概要: FedMosaic: Federated Retrieval-Augmented Generation via Parametric Adapters

• arxiv url: http://arxiv.org/abs/2602.05235v1
• Date: Thu, 05 Feb 2026 02:52:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.731793
• Title: FedMosaic: Federated Retrieval-Augmented Generation via Parametric Adapters
• Title（参考訳）: FedMosaic: パラメトリックアダプタによるフェデレーション検索拡張
• Authors: Zhilin Liang, Yuxiang Wang, Zimu Zhou, Hainan Zhang, Boyi Liu, Yongxin Tong,
• Abstract要約: パラメトリックアダプタ上に構築された最初のフェデレーションRAGフレームワークであるFedMosaicを紹介する。 その結果,FedMosaicの精度は4つのカテゴリの最先端手法よりも平均10.9%高いことがわかった。
• 参考スコア（独自算出の注目度）: 33.53786556708435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) enhances Large Language Models (LLMs) by grounding generation in external knowledge to improve factuality and reduce hallucinations. Yet most deployments assume a centralized corpus, which is infeasible in privacy aware domains where knowledge remains siloed. This motivates federated RAG (FedRAG), where a central LLM server collaborates with distributed silos without sharing raw documents. In context RAG violates this requirement by transmitting verbatim documents, whereas parametric RAG encodes documents into lightweight adapters that merge with a frozen LLM at inference, avoiding raw-text exchange. We adopt the parametric approach but face two unique challenges induced by FedRAG: high storage and communication from per-document adapters, and destructive aggregation caused by indiscriminately merging multiple adapters. We present FedMosaic, the first federated RAG framework built on parametric adapters. FedMosaic clusters semantically related documents into multi-document adapters with document-specific masks to reduce overhead while preserving specificity, and performs selective adapter aggregation to combine only relevance-aligned, nonconflicting adapters. Experiments show that FedMosaic achieves an average 10.9% higher accuracy than state-of-the-art methods in four categories, while lowering storage costs by 78.8% to 86.3% and communication costs by 91.4%, and never sharing raw documents.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、外部知識の獲得を基礎にして、事実性を向上し幻覚を減らすことで、Large Language Models (LLMs) を強化する。 しかし、ほとんどのデプロイメントは集中型コーパスを前提としており、知識がサイロ化されているプライバシ認識ドメインでは不可能である。 これにより、中央のLLMサーバが生文書を共有せずに分散サイロと協調するフェデレーションRAG(FedRAG)がモチベーションとなる。 一方、パラメトリックRAGは文書を軽量なアダプタにエンコードし、推論時に凍結LDMとマージし、生のテキスト交換を避ける。 我々はパラメトリックアプローチを採用するが、FedRAGによって引き起こされる2つの固有の課題に直面している。 パラメトリックアダプタ上に構築された最初のフェデレーションRAGフレームワークであるFedMosaicを紹介する。 FedMosaicクラスタのセマンティックな関連ドキュメントを文書固有のマスク付きマルチドキュメントアダプタに分割し、特異性を保ちながらオーバーヘッドを削減する。 実験の結果、FedMosaicは4つのカテゴリで最先端の手法よりも平均10.9%高い精度を達成し、ストレージコストを78.8%から86.3%、通信コストを91.4%削減し、生文書を共有しないことがわかった。

関連論文リスト

• Reconstructing Training Data from Adapter-based Federated Large Language Models [28.583571306465306]
  低ランクアダプタは、新しい、悪用可能なリークチャネルを生成する。 我々は、アダプタベースのFedLLMのユニークな構造に合わせて、unordered-word-based Text Reconstruction (UTR)攻撃を提案する。
  論文  参考訳（メタデータ） (2026-01-24T17:15:16Z)
• URaG: Unified Retrieval and Generation in Multimodal LLMs for Efficient Long Document Understanding [55.45331924836242]
  MLLM内での検索と生成を統一するフレームワークであるURaGについて述べる。 URaGは,計算オーバーヘッドを44～56%削減し,最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-11-13T17:54:09Z)
• DiffuGR: Generative Document Retrieval with Diffusion Language Models [80.78126312115087]
  本稿ではDiffuGRと呼ばれる拡散言語モデルを用いた生成文書検索を提案する。 推論のために、DiffuGRはDocIDトークンを並列に生成し、制御可能な多数のデノナイジングステップを通じてそれを洗練しようと試みている。 従来の左から右への自動回帰デコーディングとは対照的に、DiffuGRはより信頼性の高いDocIDトークンを生成するための新しいメカニズムを提供する。
  論文  参考訳（メタデータ） (2025-11-11T12:00:09Z)
• Towards Mixed-Modal Retrieval for Universal Retrieval-Augmented Generation [72.34977512403643]
  Retrieval-Augmented Generation (RAG) は、外部コーパスから関連文書を取得することで、大規模言語モデル(LLM)を強化するための強力なパラダイムとして登場した。 既存のRAGシステムは、主に平凡なテキスト文書に焦点を当てており、クエリとドキュメントの両方が(テキストや画像のような)混合モダリティを含む実世界のシナリオでは、しばしば不足している。 我々は,Universal Retrieval-Augmented Generationシナリオに適した混合モーダル-混合モーダルレトリバーであるNyxを提案する。
  論文  参考訳（メタデータ） (2025-10-20T09:56:43Z)
• Riddle Me This! Stealthy Membership Inference for Retrieval-Augmented Generation [18.098228823748617]
  本稿では,RAGデータストア内の文書を対象としたメンバシップ推論手法であるInterrogation Attack (IA)を提案する。 ステルス性を維持しながら、たった30クエリで推論に成功したことを実証します。 我々は,様々なRAG構成に対する事前推論攻撃に対して,TPR@1%FPRの2倍の改善が観察された。
  論文  参考訳（メタデータ） (2025-02-01T04:01:18Z)
• Parametric Retrieval Augmented Generation [32.29608109539912]
  Parametric RAGは、外部知識を直接フィードフォワードネットワークのパラメータに統合する新しいRAGパラダイムである。 これは、大きな言語モデルにおける知識増強の有効性と効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-01-27T10:04:49Z)
• Generative Dense Retrieval: Memory Can Be a Burden [16.964086245755798]
  Generative Retrieval (GR) はクエリが与えられたドキュメント識別子を自動でデコードする。 Dense Retrieval (DR) はクラスタから関連ドキュメントへのきめ細かいクラスタ内マッチングを実現するために導入された。 DRは、NQデータセットを複数の設定で平均3.0R@100改善する。
  論文  参考訳（メタデータ） (2024-01-19T04:24:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。