論文の概要: DP-MIND: Differentially private memory-guided Long context Inference
- arxiv url: http://arxiv.org/abs/2610.13132v1
- Date: Fri, 09 Oct 2026 07:25:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.453311
- Title: DP-MIND: Differentially private memory-guided Long context Inference
- Title（参考訳）: DP-MIND:差分プライベートメモリ誘導長コンテキスト推論
- Abstract要約: LLM-as-a-Serviceは、ユーザクエリが機密性や機密性を含む場合のプライバシー上の懸念を高める。
本稿では,DP-MINDを提案する。DP-MINDは,個人推論を100万のコンテキストに拡張するメモリ誘導フレームワークである。
- 参考スコア（独自算出の注目度）: 23.58311852207819
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-as-a-Service has become a dominant paradigm for accessing large language models without requiring local deployment. However, the process raises severe privacy concerns when user queries may include sensitive or confidential contexts. Differential privacy (DP) provides a principled approach to protecting such inputs, but existing DP inference methods are primarily designed for short- or moderate-context settings and struggle with million-token-scale inputs due to limited context capacity and severe utility degradation under DP perturbation. In this paper, we propose DP-MIND, a memory-guided framework that scales differentially private inference to million-token contexts. DP-MIND enables private long-context inference by locally perturbing the input and processing it chunk by chunk with a compact memory that preserves task-relevant information across the sequence. To make this memory robust to DP noise, we optimize the memory construction policy directly on perturbed inputs using reinforcement learning, guided by both final answer correctness and memory consistency. We further recover perturbation-corrupted answer spans through a local denoising module without exposing the original context to the external model. We provide theoretical privacy analysis of DP-MIND and further conduct extensive empirical analysis across multiple long-context benchmarks with context lengths up to the million-token scale, demonstrating that DP-MIND consistently outperforms existing DP and long-context inference baselines in both scalability and utility.
- Abstract（参考訳）: LLM-as-a-Serviceは、ローカルデプロイメントを必要とせずに、大きな言語モデルにアクセスするための支配的なパラダイムになっています。
しかし、このプロセスは、ユーザーのクエリが機密性や機密性を含む可能性がある場合、深刻なプライバシー上の懸念を引き起こす。
差分プライバシー(DP)は、このような入力を保護するための原則的なアプローチを提供するが、既存のDP推論手法は、主に短文または中文の設定のために設計され、文脈容量の制限とDPの摂動下での高機能化による百万件の入力に苦労する。
本稿では,DP-MINDを提案する。DP-MINDは,異なるプライベート推論を100万のコンテキストに拡張するメモリ誘導フレームワークである。
DP-MINDは、入力を局所的に摂動させ、それをチャンクで処理し、シーケンス全体にわたるタスク関連情報を保持するコンパクトメモリで、プライベートな長文推論を可能にする。
このメモリをDPノイズに頑健にするために,最終回答の正しさとメモリの整合性の両方によって導かれる強化学習を用いて,摂動入力に直接メモリ構築ポリシーを最適化する。
さらに、元のコンテキストを外部モデルに公開することなく、局所的なデノナイジングモジュールを介して摂動崩壊応答を復元する。
DP-MINDの理論的プライバシ分析を行い、文脈長を100万スケールまで拡張した複数の長文ベンチマークにおいて、拡張性と実用性の両方において、DP-MINDが既存のDPと長文推論ベースラインを一貫して上回っていることを示す。
関連論文リスト
- Context-Aware Metric Differential Privacy for Vehicle Trajectory Data [10.498407285075771]
車両位置プライバシーのためのコンテキスト対応mDP(C-mDP)を提案する。
C-mDPは保護されたシークレットを文脈拡張されたレコードとして扱い、この拡張されたドメインに対してメートル法の不識別性を強制する。
実車載用モビリティデータセットのC-mDPを評価し,標準mDPベースラインと比較した。
論文 参考訳（メタデータ） (2026-05-25T21:54:43Z) - MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models [64.2820121997882]
MIITAはメモリ駆動型推論時間適応フレームワークである。
教師付きエクスペリエンスをセマンティックアンカーを備えたコンパクトな修正指向プロトタイプとして格納し、セマンティックおよび不確実性ベースのキューを使用して推論時にそれらを検索する。
実験により、MIITAは最終性能を継続的に改善し、固定メモリの予算下での忘れを軽減している。
論文 参考訳（メタデータ） (2026-05-20T03:03:04Z) - DPrivBench: Benchmarking LLMs' Reasoning for Differential Privacy [50.73304874527716]
差分プライバシー(DP)は、データプライバシーを保護する幅広いアプリケーションを持っているが、DPアルゴリズムの設計と検証には専門家レベルの推論が必要である。
DPrivBenchは、各インスタンスが、ある関数やアルゴリズムが指定されたDP保証を満たすかどうかを問うベンチマークである。
実験によると、最強のモデルは教科書の仕組みをうまく扱えるが、全てのモデルは高度なアルゴリズムに苦しむ。
論文 参考訳（メタデータ） (2026-04-17T09:03:11Z) - Differentially Private Retrieval-Augmented Generation [13.622078883013442]
Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)における幻覚を減らすために広く使われているフレームワークである。
RAGは、データベースが医療記録や法的文書などの機密性のあるコーパスを含んでいる場合、深刻なプライバシー上のリスクを引き起こす。
本稿では,提案-テスト-リリースパラダイムを用いてDPを統合した新しいプライバシー保護型RAGアルゴリズムであるDP-KSAを提案する。
論文 参考訳（メタデータ） (2026-02-16T00:52:57Z) - Tight and Practical Privacy Auditing for Differentially Private In-Context Learning [11.394805414546903]
大規模言語モデル(LLM)は、しばしばプライベートまたはプロプライエタリなデータを含むプロンプトデモからタスクに適応することで、コンテキスト内学習(ICL)を実行する。
本稿では,DP-ICLシステムに対する厳密で効率的なプライバシ監査フレームワークを提案する。
標準テキスト分類および生成ベンチマークの実験により,我々の経験的リーク推定値が分類タスクの理論的DP予算と密接に一致し,保守的な埋め込み感度境界による生成タスクが一貫して低下していることが示されている。
論文 参考訳（メタデータ） (2025-11-17T15:39:54Z) - PAnDA: Rethinking Metric Differential Privacy Optimization at Scale with Anchor-Based Approximation [7.889420673572309]
我々は,距離微分プライバシー(mDP)のためのスケーラブルなフレームワークとして,アンカーベース分散近似(PAnDA)による摂動を提案する。
実世界の位置情報データセットの実験により、PAnDAは最大5,000レコードの秘密ドメインにスケールすることを示した。
論文 参考訳（メタデータ） (2025-09-10T16:14:08Z) - Dual-Priv Pruning : Efficient Differential Private Fine-Tuning in Multimodal Large Language Models [21.598534853947676]
MLLMにおける微分プライバシ(DP)微調整のための2つの補完的プルーニング機構を用いたフレームワークを提案する。
我々のアプローチは、標準のDP-SGDよりも少ないメモリを一貫して活用する。
我々の知る限りでは、我々はMLLMにおけるDPファインチューニングを初めて探求している。
論文 参考訳（メタデータ） (2025-06-08T10:33:01Z) - How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - DPZero: Private Fine-Tuning of Language Models without Backpropagation [49.365749361283704]
DPZeroは、ほぼ次元に依存しない新しいゼロオーダーアルゴリズムである。
DPZeroのメモリ効率は、いくつかの下流タスクでプライベートに微調整されたRoBERTaとOPTで実証される。
論文 参考訳（メタデータ） (2023-10-14T18:42:56Z) - Make Landscape Flatter in Differentially Private Federated Learning [69.78485792860333]
本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。
具体的には、DP-FedSAMは、局所的な平坦性モデルと、より優れた安定性と重量頑健性を統合し、DPノイズに対する局所的な更新とロバスト性の小さなノルムをもたらす。
提案アルゴリズムは,DPFLの既存のSOTAベースラインと比較して,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2023-03-20T16:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。