論文の概要: Privacy-Preserving Reasoning with Knowledge-Distilled Parametric Retrieval Augmented Generation
- arxiv url: http://arxiv.org/abs/2509.01088v1
- Date: Mon, 01 Sep 2025 03:23:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 15:17:03.536019
- Title: Privacy-Preserving Reasoning with Knowledge-Distilled Parametric Retrieval Augmented Generation
- Title（参考訳）: 知識拡散型パラメトリック検索生成によるプライバシ保護推論
- Authors: Jinwen Chen, Hainan Zhang, Liang Pang, Yongxin Tong, Haibo Zhou, Yuan Zhan, Wei Lin, Zhiming Zheng,
- Abstract要約: Parametric RAG (PRAG) は文書を LLM 内の LoRA としてエンコードすることでこの問題に対処する。
文書構造とパラメータアクティベーションにおける標準RAGと整合した知識蒸留パラメトリックRAGモデルであるDistilledPRAGを提案する。
4つのQAデータセットの実験では、DistilledPRAGは精度でベースラインを上回り、OODデータでうまく一般化している。
- 参考スコア（独自算出の注目度）: 37.36013238444145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The current RAG system requires uploading plaintext documents to the cloud, risking private data leakage. Parametric RAG (PRAG) addresses this by encoding documents as LoRA within LLMs, enabling reasoning without exposing raw content. However, it still faces two issues: (1) PRAG demands synthesizing QA pairs and fine-tuning LLM for each individual document to create its corresponding LoRA, leading to unacceptable inference latency. (2) The performance of PRAG relies solely on synthetic QA data, lacking internal alignment with standard RAG, resulting in poor generalization on out-of-distribution(OOD) inputs. Therefore, achieving high-efficiency parameterization while maintaining RAG-level performance remains a critical challenge for privacy-preserving reasoning. In this paper, we propose DistilledPRAG, a generalizable knowledge-distilled parametric RAG model aligned with standard RAG in document structure and parameter activation. We first synthesize QA pairs from single and multi-documents to enhance cross-document reasoning. Then, we mask the plaintext documents with a special token and translate them to LoRA via a parameter generator, maintaining the standard RAG document structure. Finally, guided by synthetic QA data, we train the parameter generator to match standard RAG's hidden states and output logits, enabling RAG-style reasoning without original documents. Experiments on four QA datasets show that DistilledPRAG outperforms baselines in accuracy and generalizes well on OOD data.
- Abstract（参考訳）: 現在のRAGシステムでは、プレーンテキストのドキュメントをクラウドにアップロードする必要がある。
Parametric RAG (PRAG) は文書を LLM 内の LoRA としてエンコードすることでこの問題に対処する。
1 PRAG は QA ペアの合成と各ドキュメントの微調整 LLM を要求し、対応する LoRA を作成する。
2) PRAGの性能は, 合成QAデータのみに依存し, 標準RAGと内部的整合性が欠如し, アウト・オブ・ディストリビューション(OOD)入力の一般化が不十分であった。
したがって、RAGレベルの性能を維持しながら高効率なパラメータ化を実現することは、プライバシ保護推論にとって重要な課題である。
本稿では,文書構造とパラメータアクティベーションにおける標準RAGと整合した汎用知識蒸留パラメトリックRAGモデルであるDistilledPRAGを提案する。
まず,複数文書からQAペアを合成し,文書間推論を強化する。
そして、平文文書を特別なトークンで隠蔽し、パラメータ生成器を介してLoRAに変換し、標準のRAG文書構造を維持する。
最後に、合成QAデータを用いて、パラメータ生成器をトレーニングし、標準RAGの隠れ状態と出力ロジットを一致させ、RAGスタイルの推論を原文書なしで行えるようにする。
4つのQAデータセットの実験では、DistilledPRAGは精度でベースラインを上回り、OODデータでうまく一般化している。
関連論文リスト
- RAGalyst: Automated Human-Aligned Agentic Evaluation for Domain-Specific RAG [0.0]
Retrieval-Augmented Generation (RAG) は、LLM(Large Language Models)を実際に証明するための重要な手法である。
既存の評価フレームワークは多くの場合、ドメイン固有のニュアンスをキャプチャできないメトリクスに依存します。
本稿では,RAGalystについて紹介する。RAGalystは,ドメイン固有のRAGシステムの厳密な評価を目的とした,人力による自動エージェントフレームワークである。
論文 参考訳（メタデータ） (2025-11-06T16:22:52Z) - The Role of Parametric Injection-A Systematic Study of Parametric Retrieval-Augmented Generation [8.544971676258971]
パラノイド検索拡張生成(PRAG)は、ドキュメントをモデルパラメータとしてエンコードし、推論中にこれらの表現をモデルに注入する。
PRAGは文書の部分的意味情報のみをキャプチャし,それに依存するだけでテキストレベルでのインタラクションよりも性能が劣ることを示す。
パラメータ化された文書とテキスト文書を組み合わせると、モデルは関連情報をより効果的に活用し、ノイズの多い入力に対してより堅牢になる。
論文 参考訳（メタデータ） (2025-10-14T16:05:01Z) - Respecting Temporal-Causal Consistency: Entity-Event Knowledge Graphs for Retrieval-Augmented Generation [69.45495166424642]
我々は,物語文書における時間的,因果的,文字的整合性を理解するために,頑健で差別的なQAベンチマークを開発する。
次に、バイナリマッピングでリンクされたエンティティとイベントのサブグラフを分離したまま保持するデュアルグラフフレームワークであるEntity-Event RAG(E2RAG)を紹介します。
ChronoQA全体で、我々のアプローチは最先端の非構造化およびKGベースのRAGベースラインよりも優れており、因果一貫性クエリや文字整合性クエリが顕著である。
論文 参考訳（メタデータ） (2025-06-06T10:07:21Z) - QuIM-RAG: Advancing Retrieval-Augmented Generation with Inverted Question Matching for Enhanced QA Performance [1.433758865948252]
本研究では,RAG(Retrieval-Augmented Generation)システム構築のための新しいアーキテクチャを提案する。
RAGアーキテクチャは、ターゲット文書から応答を生成するために構築される。
本稿では,本システムにおける検索機構の新しいアプローチQuIM-RAGを紹介する。
論文 参考訳（メタデータ） (2025-01-06T01:07:59Z) - BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。
本稿では,クエリ対応マルチホップ推論を行う軽量なアプローチであるBRIEFを提案する。
オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
論文 参考訳（メタデータ） (2024-10-20T04:24:16Z) - VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents [66.42579289213941]
Retrieval-augmented Generation (RAG) は、大規模言語モデルが外部知識ソースを生成に活用できる効果的な手法である。
本稿では、視覚言語モデル(VLM)に基づくRAGパイプラインを確立することにより、この問題に対処するVisRAGを紹介する。
このパイプラインでは、まず文書を解析してテキストを得る代わりに、VLMを画像として直接埋め込んで、VLMの生成を強化する。
論文 参考訳（メタデータ） (2024-10-14T15:04:18Z) - RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。
事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。
実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
論文 参考訳（メタデータ） (2024-08-02T13:35:11Z) - Customized Retrieval Augmented Generation and Benchmarking for EDA Tool Documentation QA [5.0108982850526]
検索拡張生成(RAG)は、外部データベースから事実情報を抽出することにより、生成AIモデルの精度と信頼性を高める。
本稿では、EDAツールドキュメンテーションQAのための3つのドメイン固有のテクニックとともに、カスタマイズされたRAGフレームワークを提案する。
我々は,高度なRTL-to-GDSII設計プラットフォームであるOpenROADのドキュメントQA評価ベンチマークであるORD-QAを開発し,リリースした。
論文 参考訳（メタデータ） (2024-07-22T03:44:27Z) - Accelerating Inference of Retrieval-Augmented Generation via Sparse Context Selection [28.15184715270483]
大きな言語モデル (LLM) は、検索によって強化され、堅牢な性能と広範な汎用性を示す。
本稿では,スパースRAGという新しいパラダイムを提案する。
Sparse RAGは、検索したドキュメントを並列にエンコードする。
論文 参考訳（メタデータ） (2024-05-25T11:10:04Z) - Generating Diverse and Consistent QA pairs from Contexts with
Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。
我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
論文 参考訳（メタデータ） (2020-05-28T08:26:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。