論文の概要: Nonparametric Variational Differential Privacy via Embedding Parameter Clipping

• arxiv url: http://arxiv.org/abs/2603.09583v1
• Date: Tue, 10 Mar 2026 12:34:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 15:25:24.305007
• Title: Nonparametric Variational Differential Privacy via Embedding Parameter Clipping
• Title（参考訳）: 埋め込みパラメータクリッピングによる非パラメトリック変分プライバシー
• Authors: Dina El Zein, Shashi Kumar, James Henderson,
• Abstract要約: 本稿では,変分言語モデルにおけるプライバシ問題に対処するためのパラメータクリップ方式を提案する。 以上の結果から, カットされたモデルでは厳密なRD境界が達成され, プライバシーが向上することが示唆された。 この研究は、変動モデルにおけるプライバシーとユーティリティのトレードオフを改善するためのシンプルで効果的な方法を示し、より堅牢で実用的なものである。
• 参考スコア（独自算出の注目度）: 7.242101014224729
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The nonparametric variational information bottleneck (NVIB) provides the foundation for nonparametric variational differential privacy (NVDP), a framework for building privacy-preserving language models. However, the learned latent representations can drift into regions with high information content, leading to poor privacy guarantees, but also low utility due to numerical instability during training. In this work, we introduce a principled parameter clipping strategy to directly address this issue. Our method is mathematically derived from the objective of minimizing the Rényi Divergence (RD) upper bound, yielding specific, theoretically grounded constraints on the posterior mean, variance, and mixture weight parameters. We apply our technique to an NVIB based model and empirically compare it against an unconstrained baseline. Our findings demonstrate that the clipped model consistently achieves tighter RD bounds, implying stronger privacy, while simultaneously attaining higher performance on several downstream tasks. This work presents a simple yet effective method for improving the privacy-utility trade-off in variational models, making them more robust and practical.
• Abstract（参考訳）: 非パラメトリック変分情報ボトルネック(NVIB)は、プライバシー保護言語モデルを構築するためのフレームワークである非パラメトリック変分差分プライバシー(NVDP)の基礎を提供する。 しかし、学習された潜伏表現は、高い情報コンテンツを持つ領域に漂流し、プライバシーの保証が貧弱になるだけでなく、トレーニング中に数値的な不安定さのために実用性が低下する。 本稿では,この問題に直接対処するためのパラメータクリッピング手法を提案する。 本手法は, Rényi Divergence (RD)上界の最小化を目的とし, 後方平均値, 分散値, 混合重みパラメータについて, 理論的に基礎的な制約を与える。 提案手法をNVIBベースモデルに適用し,非制約ベースラインに対して実験的に比較する。 以上の結果から, カットされたモデルでは, より厳密なRDバウンダリを常に達成し, より強いプライバシを実現すると同時に, 下流タスクにおける高い性能を実現することが示唆された。 この研究は、変動モデルにおけるプライバシーとユーティリティのトレードオフを改善するためのシンプルで効果的な方法を示し、より堅牢で実用的なものである。

関連論文リスト

• Parameter-Efficient Fine-Tuning with Differential Privacy for Robust Instruction Adaptation in Large Language Models [11.071281023081582]
  本研究では,大規模言語モデルの微調整におけるプライバシ保護と効率性の問題に対処する。 協調最適化フレームワークにおいて、差分プライバシノイズアロケーションと勾配クリッピングを統合したパラメータ効率の手法を提案する。 本手法は, 精度, プライバシ予算, パラメータ効率においてベースラインモデルを上回る性能を示し, 多様な不確実なデータ条件下での安定した性能を維持する。
  論文  参考訳（メタデータ） (2025-12-07T08:01:01Z)
• Multi-Objective Optimization for Privacy-Utility Balance in Differentially Private Federated Learning [12.278668095136098]
  フェデレートラーニング(FL)は、生データを共有せずに、分散クライアント間で協調的なモデルトレーニングを可能にする。 本稿では,多目的最適化フレームワークを用いて動的にクリッピング規範を調整する適応型クリッピング機構を提案する。 以上の結果から,適応的クリッピングは固定クリッピングベースラインを一貫して上回り,同一のプライバシー制約下での精度の向上を実現している。
  論文  参考訳（メタデータ） (2025-03-27T04:57:05Z)
• Differentially Private Random Feature Model [47.35176457481132]
  プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。 本手法は,プライバシを保護し,一般化誤差を導出する。
  論文  参考訳（メタデータ） (2024-12-06T05:31:08Z)
• Efficient and Private: Memorisation under differentially private parameter-efficient fine-tuning in language models [2.3281513013731145]
  特定のタスクのための微調整された大型言語モデル(LLM)は、不注意に記憶し、センシティブなトレーニングデータを漏洩する可能性があるため、プライバシのリスクをもたらす。 差分プライバシー(DP)は、これらのリスクを軽減するソリューションを提供するが、重大な計算とパフォーマンスのトレードオフをもたらす。 PEFT法は,パラメータを少なくし,プライバシリークを著しく低減しつつ,標準的な微調整に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2024-11-24T13:17:36Z)
• Fine-Tuning Language Models with Differential Privacy through Adaptive Noise Allocation [33.795122935686706]
  本稿では,モデルパラメータの重要性に基づいて適応的に付加雑音を割り当てる新しいアルゴリズムANADPを提案する。 ANADPは,一連のデータセットにおいて,通常の微調整と従来のDP微調整のパフォーマンスギャップを狭めることを実証する。
  論文  参考訳（メタデータ） (2024-10-03T19:02:50Z)
• Differentially Private Fine-Tuning of Diffusion Models [22.454127503937883]
  微分プライバシーと拡散モデル(DM)の統合は、有望だが挑戦的なフロンティアを示している。 この分野での最近の進歩は、公開データによる事前学習によって高品質な合成データを生成する可能性を強調している。 本稿では,プライバシとユーティリティのトレードオフを高めるために,トレーニング可能なパラメータの数を最小限に抑える,プライベート拡散モデルに最適化された戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-03T14:18:04Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。