論文の概要: Privacy-Preserving Reasoning with Knowledge-Distilled Parametric Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2509.01088v1
• Date: Mon, 01 Sep 2025 03:23:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.536019
• Title: Privacy-Preserving Reasoning with Knowledge-Distilled Parametric Retrieval Augmented Generation
• Title（参考訳）: 知識拡散型パラメトリック検索生成によるプライバシ保護推論
• Authors: Jinwen Chen, Hainan Zhang, Liang Pang, Yongxin Tong, Haibo Zhou, Yuan Zhan, Wei Lin, Zhiming Zheng,
• Abstract要約: Parametric RAG (PRAG) は文書を LLM 内の LoRA としてエンコードすることでこの問題に対処する。 文書構造とパラメータアクティベーションにおける標準RAGと整合した知識蒸留パラメトリックRAGモデルであるDistilledPRAGを提案する。 4つのQAデータセットの実験では、DistilledPRAGは精度でベースラインを上回り、OODデータでうまく一般化している。
• 参考スコア（独自算出の注目度）: 37.36013238444145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The current RAG system requires uploading plaintext documents to the cloud, risking private data leakage. Parametric RAG (PRAG) addresses this by encoding documents as LoRA within LLMs, enabling reasoning without exposing raw content. However, it still faces two issues: (1) PRAG demands synthesizing QA pairs and fine-tuning LLM for each individual document to create its corresponding LoRA, leading to unacceptable inference latency. (2) The performance of PRAG relies solely on synthetic QA data, lacking internal alignment with standard RAG, resulting in poor generalization on out-of-distribution(OOD) inputs. Therefore, achieving high-efficiency parameterization while maintaining RAG-level performance remains a critical challenge for privacy-preserving reasoning. In this paper, we propose DistilledPRAG, a generalizable knowledge-distilled parametric RAG model aligned with standard RAG in document structure and parameter activation. We first synthesize QA pairs from single and multi-documents to enhance cross-document reasoning. Then, we mask the plaintext documents with a special token and translate them to LoRA via a parameter generator, maintaining the standard RAG document structure. Finally, guided by synthetic QA data, we train the parameter generator to match standard RAG's hidden states and output logits, enabling RAG-style reasoning without original documents. Experiments on four QA datasets show that DistilledPRAG outperforms baselines in accuracy and generalizes well on OOD data.
• Abstract（参考訳）: 現在のRAGシステムでは、プレーンテキストのドキュメントをクラウドにアップロードする必要がある。 Parametric RAG (PRAG) は文書を LLM 内の LoRA としてエンコードすることでこの問題に対処する。 1 PRAG は QA ペアの合成と各ドキュメントの微調整 LLM を要求し、対応する LoRA を作成する。 2) PRAGの性能は, 合成QAデータのみに依存し, 標準RAGと内部的整合性が欠如し, アウト・オブ・ディストリビューション(OOD)入力の一般化が不十分であった。 したがって、RAGレベルの性能を維持しながら高効率なパラメータ化を実現することは、プライバシ保護推論にとって重要な課題である。 本稿では,文書構造とパラメータアクティベーションにおける標準RAGと整合した汎用知識蒸留パラメトリックRAGモデルであるDistilledPRAGを提案する。 まず,複数文書からQAペアを合成し,文書間推論を強化する。 そして、平文文書を特別なトークンで隠蔽し、パラメータ生成器を介してLoRAに変換し、標準のRAG文書構造を維持する。 最後に、合成QAデータを用いて、パラメータ生成器をトレーニングし、標準RAGの隠れ状態と出力ロジットを一致させ、RAGスタイルの推論を原文書なしで行えるようにする。 4つのQAデータセットの実験では、DistilledPRAGは精度でベースラインを上回り、OODデータでうまく一般化している。

関連論文リスト

• VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents [66.42579289213941]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルが外部知識ソースを生成に活用できる効果的な手法である。 本稿では、視覚言語モデル(VLM)に基づくRAGパイプラインを確立することにより、この問題に対処するVisRAGを紹介する。 このパイプラインでは、まず文書を解析してテキストを得る代わりに、VLMを画像として直接埋め込んで、VLMの生成を強化する。
  論文  参考訳（メタデータ） (2024-10-14T15:04:18Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Customized Retrieval Augmented Generation and Benchmarking for EDA Tool Documentation QA [5.0108982850526]
  検索拡張生成(RAG)は、外部データベースから事実情報を抽出することにより、生成AIモデルの精度と信頼性を高める。 本稿では、EDAツールドキュメンテーションQAのための3つのドメイン固有のテクニックとともに、カスタマイズされたRAGフレームワークを提案する。 我々は,高度なRTL-to-GDSII設計プラットフォームであるOpenROADのドキュメントQA評価ベンチマークであるORD-QAを開発し,リリースした。
  論文  参考訳（メタデータ） (2024-07-22T03:44:27Z)
• Accelerating Inference of Retrieval-Augmented Generation via Sparse Context Selection [28.15184715270483]
  大きな言語モデル (LLM) は、検索によって強化され、堅牢な性能と広範な汎用性を示す。 本稿では,スパースRAGという新しいパラダイムを提案する。 Sparse RAGは、検索したドキュメントを並列にエンコードする。
  論文  参考訳（メタデータ） (2024-05-25T11:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。