論文の概要: Only Pay What You Must Spend: On-Demand Privacy Budget Payment for Differentially Private RAG
- arxiv url: http://arxiv.org/abs/2609.27406v1
- Date: Wed, 23 Sep 2026 06:20:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.904663
- Title: Only Pay What You Must Spend: On-Demand Privacy Budget Payment for Differentially Private RAG
- Title（参考訳）: 個人向けRAGのプライバシー予算の支払いのみ
- Abstract要約: Retrieval-Augmented Generation (RAG)による機密データに基づく大規模言語モデル(LLM)は、深刻なプライバシーリスクをもたらす。
私たちはSparsePay-RAGを提案します。
強力なプライバシー制約の下では、SparsePay-RAGはベースラインよりも優れたプライバシーユーティリティトレードオフを実現している。
- 参考スコア（独自算出の注目度）: 28.93417769133205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deploying large language models (LLMs) on sensitive data via Retrieval-Augmented Generation (RAG) introduces severe privacy risks. Recent studies apply Differential Privacy (DP) to LLMs with RAG for formal privacy guarantees. However, existing DP-RAG frameworks rapidly exhaust the privacy budget. Although recent efforts attempt to save the budget by narrowing the retrieval scope or sparsifying private generation, these methods themselves cumulatively consume the budget, whereas they could actually rely merely on public information or at a negligible one-time privacy cost. This mismatch fails to align budget expenditure with the model's actual reliance on private data, causing substantial waste on operations that require no private access. To address this, we propose SparsePay-RAG, adopting "only pay what you must spend" as its core principle. Using public information as a zero-privacy prior, it charges the privacy budget only for the private increment. Specifically, SparsePay-RAG narrows the retrieval scope via public topic-guided clustering, adaptively controls private access frequency without privacy cost through isotonic cross-layer trajectory fitting, and compresses per-access budget via DP contrastive decoding. Under strong privacy constraints, experiments show SparsePay-RAG achieves superior privacy-utility trade-offs over baselines.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG)を通じて、機密データに大規模な言語モデル(LLM)をデプロイすることは、深刻なプライバシーリスクをもたらす。
最近の研究は、公式なプライバシ保証のためのRAG付きLDMに差分プライバシー(DP)を適用している。
しかし、既存のDP-RAGフレームワークは急速にプライバシーの予算を浪費している。
最近の試みでは、検索範囲を狭めたり、プライベート世代を拡大したりすることで予算を節約しようとする試みがあるが、これらの手法自体は累積的に予算を消費するが、実際には単に公開情報や無視できる1回限りのプライバシーコストに頼ることができる。
このミスマッチは、予算支出を実際のプライベートデータへの依存と一致させることに失敗し、プライベートアクセスを必要としない運用にかなりの無駄を発生させる。
これを解決するために、私たちはSparsePay-RAGを提案します。
公的な情報をゼロプライバシとして使用すると、プライベートインクリメントのみにプライバシー予算を課金する。
具体的には、SparsePay-RAGは、パブリックトピック誘導クラスタリングによる検索範囲を狭め、イソトニックなクロス層軌道フィッティングによるプライバシコストなしでプライベートアクセス頻度を適応的に制御し、DPコントラストデコーディングによるアクセス単位の予算を圧縮する。
強力なプライバシー制約の下では、SparsePay-RAGはベースラインよりも優れたプライバシーユーティリティトレードオフを実現している。
関連論文リスト
- Your Privacy Depends on Others: Collusion Vulnerabilities in Individual Differential Privacy [50.66105844449181]
個々の差別的プライバシ(iDP)は、ユーザが自身のプライバシをコントロールすることを約束するが、この約束は実際には破られる可能性がある。
我々は、サンプリングベースのiDPメカニズムにおいて、これまで見過ごされていた脆弱性を明らかにした。
我々は、$(varepsilon_i,_i,overline)$-iDPというプライバシー契約を提案します。
論文 参考訳（メタデータ） (2026-01-19T10:26:12Z) - A General Framework for Per-record Differential Privacy [10.959311645622632]
記録ごとの差分プライバシー(PrDP)は、各レコードの機能としてプライバシー予算を定義することでこの問題に対処する。
既存のソリューションは特定のプライバシ機能を扱うか、緩和されたPrDP定義を採用する。
本稿では,任意の標準DP機構がPrDPをサポート可能な,汎用的で実用的なフレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-24T11:44:10Z) - Private Hyperparameter Tuning with Ex-Post Guarantee [98.43027866582979]
「実用優先」のプライバシメカニズムは、望ましいユーティリティレベルを優先し、それに対応するプライバシコストを決定する。
Wu et al. [2019] と Liu と Talwar [2019] の作業を拡張して,プライベートな見積りのシーケンスをサポートします。
最適なプライバシ予算の選択を含む,これらの推定器のハイパーパラメータチューニングは,追加のプライバシコストなしで行うことができることを示す。
論文 参考訳（メタデータ） (2025-08-21T02:42:23Z) - Privacy-Preserving Retrieval-Augmented Generation with Differential Privacy [25.896416088293908]
検索強化世代(RAG)は大規模言語モデル(LLM)を支援するのに特に有効である
RAGは、外部データソースから機密情報を漏洩するリスクを出力する。
機密情報を必要とするトークンに対してのみ、プライバシー予算を賢く費やすアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-12-06T01:20:16Z) - Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。
DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
論文 参考訳（メタデータ） (2024-01-09T03:53:59Z) - Within-Dataset Disclosure Risk for Differential Privacy [5.288762073608111]
差分プライバシー(DP)は、個人データ分析を可能にする。
典型的なDPデプロイメントでは、コントローラは個人の機密データを管理し、個人のプライバシーを保護しながらアナリストのクエリに応答する責任を負う。
コントローラが$epsilon$を選択するのは、データベース内の個人に対するそのような選択のプライバシー上の意味を理解するのが難しいためである。
論文 参考訳（メタデータ） (2023-10-19T19:01:27Z) - A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。
EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。
我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
論文 参考訳（メタデータ） (2023-04-17T00:38:01Z) - Privacy Amplification via Shuffling for Linear Contextual Bandits [51.94904361874446]
ディファレンシャルプライバシ(DP)を用いた文脈線形バンディット問題について検討する。
プライバシのシャッフルモデルを利用して,JDP と LDP のプライバシ/ユーティリティトレードオフを実現することができることを示す。
以上の結果から,ローカルプライバシを保ちながらシャッフルモデルを活用することで,JDPとDPのトレードオフを得ることが可能であることが示唆された。
論文 参考訳（メタデータ） (2021-12-11T15:23:28Z) - Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。
まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。
そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-09-18T20:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。