論文の概要: PLRV-O: Advancing Differentially Private Deep Learning via Privacy Loss Random Variable Optimization

• arxiv url: http://arxiv.org/abs/2509.06264v1
• Date: Mon, 08 Sep 2025 01:06:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.927715
• Title: PLRV-O: Advancing Differentially Private Deep Learning via Privacy Loss Random Variable Optimization
• Title（参考訳）: PLRV-O: プライバシロスのランダム変数最適化を通じて、異なるプライベートなディープラーニングを促進する
• Authors: Qin Yang, Nicholas Stout, Meisam Mohammady, Han Wang, Ayesha Samreen, Christopher J Quinn, Yan Yan, Ashish Kundu, Yuan Hong,
• Abstract要約: 本稿では,パラメータ化されたDP-SGD雑音分布の広い探索空間を定義するフレームワークPLRV-Oを紹介する。 PLRV-Oは、厳格なプライバシー制約の下で実用性を大幅に改善することを示す。
• 参考スコア（独自算出の注目度）: 16.48480873870065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially Private Stochastic Gradient Descent (DP-SGD) is a standard method for enforcing privacy in deep learning, typically using the Gaussian mechanism to perturb gradient updates. However, conventional mechanisms such as Gaussian and Laplacian noise are parameterized only by variance or scale. This single degree of freedom ties the magnitude of noise directly to both privacy loss and utility degradation, preventing independent control of these two factors. The problem becomes more pronounced when the number of composition rounds T and batch size B vary across tasks, as these variations induce task-dependent shifts in the privacy-utility trade-off, where small changes in noise parameters can disproportionately affect model accuracy. To address this limitation, we introduce PLRV-O, a framework that defines a broad search space of parameterized DP-SGD noise distributions, where privacy loss moments are tightly characterized yet can be optimized more independently with respect to utility loss. This formulation enables systematic adaptation of noise to task-specific requirements, including (i) model size, (ii) training duration, (iii) batch sampling strategies, and (iv) clipping thresholds under both training and fine-tuning settings. Empirical results demonstrate that PLRV-O substantially improves utility under strict privacy constraints. On CIFAR-10, a fine-tuned ViT achieves 94.03% accuracy at epsilon approximately 0.5, compared to 83.93% with Gaussian noise. On SST-2, RoBERTa-large reaches 92.20% accuracy at epsilon approximately 0.2, versus 50.25% with Gaussian.
• Abstract（参考訳）: Differentially Private Stochastic Gradient Descent (DP-SGD)は、ディープラーニングにおけるプライバシ強化の標準手法である。 しかし、ガウスノイズやラプラシアノイズのような従来のメカニズムは、ばらつきやスケールによってのみパラメータ化される。 この単一自由度は、プライバシ損失とユーティリティ劣化の両方に直接ノイズの大きさを関連付け、これら2つの要因の独立的な制御を妨げている。 合成ラウンドTとバッチサイズBの数がタスクによって異なる場合、これらの変動は、小さなノイズパラメータの変化がモデルの精度に不均等に影響を及ぼす可能性があるプライバシーとユーティリティのトレードオフにおいて、タスク依存のシフトを引き起こすため、問題はより顕著になる。 PLRV-Oはパラメータ化されたDP-SGDノイズ分布の広い探索空間を定義するフレームワークであり,プライバシ損失モーメントを厳格に特徴付けるが,ユーティリティ損失に関してより独立的に最適化できる。 この定式化は、タスク固有の要求へのノイズの体系的適応を可能にする。 (i)モデルサイズ (二)訓練期間 (三)バッチサンプリング戦略、及び (4)トレーニングと微調整の両方の条件下でのクリッピング閾値。 PLRV-Oは、厳密なプライバシー制約の下で実用性を大幅に改善することを示した。 CIFAR-10では、細調整されたViTは、約0.5のエプシロンで94.03%の精度を達成するが、ガウスノイズでは83.93%である。 SST-2では、RoBERTa-largeはエプシロンで92.20%、ガウスでは50.25%に達する。

関連論文リスト

• Stabilization of Perturbed Loss Function: Differential Privacy without Gradient Noise [7.010398112169834]
  SPOFは,マルチユーザ環境を対象とした,差分プライベートなトレーニング機構である。 トレーニング中に環境騒音を呈し、ユーザ入力が破損しても安定した性能を維持する。 その結果, DP-SGDと比較して, SPOFの再現精度は最大3.5%向上し, 平均トレーニング時間を57.2%短縮できることがわかった。
  論文  参考訳（メタデータ） (2025-08-21T12:54:19Z)
• Efficient Differentially Private Fine-Tuning of LLMs via Reinforcement Learning [0.9861588522527782]
  RLDPはDP最適化自体を近代的な深層強化学習(RL)に対応可能な閉ループ制御問題とみなす最初のフレームワークである。 GPT2-small、Llama-1B、Llama-3B、Mistral-7Bの1,600以上の実験で、RDDPは1.3-3.0.5%のパープレキシティ低減と平均5.6%のダウンストリームユーティリティゲインを実現している。
  論文  参考訳（メタデータ） (2025-07-30T10:46:53Z)
• AdaDPIGU: Differentially Private SGD with Adaptive Clipping and Importance-Based Gradient Updates for Deep Neural Networks [1.7265013728931]
  本稿では,ディープニューラルネットワークに適した重要度に基づく勾配更新を備えた,新たな微分プライベートなSGDフレームワークを提案する。 AdaDPIGUは$(varepsilon, delta)$-differential privacyを満足し、収束保証を保持する。 MNISTでは、プライバシー予算が$epsilon = 8$である場合、テスト精度は99.12%に達し、非プライベートモデルとほぼ一致する。
  論文  参考訳（メタデータ） (2025-07-09T03:53:03Z)
• $(ε, δ)$-Differentially Private Partial Least Squares Regression [1.8666451604540077]
  我々は,モデルに基づくデータのプライバシーを確保するために,$(epsilon, delta)$-differentially private PLS (edPLS)アルゴリズムを提案する。 実験により、EDPLSはトレーニングデータに固有の変動源を回復することを目的とした、効果的なプライバシー攻撃を施すことが示されている。
  論文  参考訳（メタデータ） (2024-12-12T10:49:55Z)
• Adaptive Differential Privacy in Federated Learning: A Priority-Based Approach [0.0]
  フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。 DPはパラメータに一定のノイズを加えることで、プライバシーを保証するフレームワークを提供する。 本稿では,特徴量の相対的重要度に基づいて入射雑音の値を決定するFLの適応雑音付加法を提案する。
  論文  参考訳（メタデータ） (2024-01-04T03:01:15Z)
• Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning [86.08285033925597]
  本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。 我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。 新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
  論文  参考訳（メタデータ） (2023-03-07T22:52:40Z)
• Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
  本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
  論文  参考訳（メタデータ） (2023-01-18T04:54:58Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。