論文の概要: On Dynamic Noise Influence in Differentially Private Learning

• arxiv url: http://arxiv.org/abs/2101.07413v1
• Date: Tue, 19 Jan 2021 02:04:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 11:17:21.503494
• Title: On Dynamic Noise Influence in Differentially Private Learning
• Title（参考訳）: 微分プライベート学習における動的雑音の影響について
• Authors: Junyuan Hong and Zhangyang Wang and Jiayu Zhou
• Abstract要約: Private Gradient Descent (PGD)は一般的に使用されるプライベート学習フレームワークであり、差分プロトコルに基づいてノイズを発生する。 最近の研究では、emphdynamic privacy schedulesは最終イテレーションで改善できるが、そのようなスケジュールの有効性の理論は限られている。 本稿では,これらの重要な質問に答えるために,動的プライバシスケジュールにおけるノイズの影響を総合的に分析する。
• 参考スコア（独自算出の注目度）: 102.6791870228147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Protecting privacy in learning while maintaining the model performance has become increasingly critical in many applications that involve sensitive data. Private Gradient Descent (PGD) is a commonly used private learning framework, which noises gradients based on the Differential Privacy protocol. Recent studies show that \emph{dynamic privacy schedules} of decreasing noise magnitudes can improve loss at the final iteration, and yet theoretical understandings of the effectiveness of such schedules and their connections to optimization algorithms remain limited. In this paper, we provide comprehensive analysis of noise influence in dynamic privacy schedules to answer these critical questions. We first present a dynamic noise schedule minimizing the utility upper bound of PGD, and show how the noise influence from each optimization step collectively impacts utility of the final model. Our study also reveals how impacts from dynamic noise influence change when momentum is used. We empirically show the connection exists for general non-convex losses, and the influence is greatly impacted by the loss curvature.
• Abstract（参考訳）: モデルパフォーマンスを維持しながら学習におけるプライバシを保護することは、機密データを含む多くのアプリケーションでますます重要になっている。 private gradient descent (pgd) は、差分プライバシープロトコルに基づいて勾配をノイズとする、一般的なプライベート学習フレームワークである。 最近の研究では、ノイズの大きさを小さくする \emph{dynamic privacy schedules} は最終イテレーションでの損失を改善できるが、そのようなスケジュールの有効性と最適化アルゴリズムとの関係に関する理論的理解は限られている。 本稿では,これらの重要な質問に答えるために,動的プライバシスケジュールにおけるノイズの影響を包括的に分析する。 まず、PGDの実用上界を最小化する動的ノイズスケジュールを示し、各最適化ステップからのノイズの影響が最終モデルの実用性にどのように影響するかを示す。 また,運動量を用いた場合の動的騒音の影響も明らかにした。 一般の非凸損失に対する接続の存在を実証的に示し、その影響は損失曲率に大きく影響している。

関連論文リスト

• Towards Robust Transcription: Exploring Noise Injection Strategies for Training Data Augmentation [55.752737615873464]
  本研究では,SNR(Signal-to-Noise Ratio)レベルにおける白色雑音の影響について検討した。 この研究は、様々な音環境における一貫した性能を維持する転写モデルの開発に向けた予備的な研究として、貴重な洞察を与えてくれることを願っている。
  論文  参考訳（メタデータ） (2024-10-18T02:31:36Z)
• Fine-Tuning Language Models with Differential Privacy through Adaptive Noise Allocation [33.795122935686706]
  本稿では,モデルパラメータの重要性に基づいて適応的に付加雑音を割り当てる新しいアルゴリズムANADPを提案する。 ANADPは,一連のデータセットにおいて,通常の微調整と従来のDP微調整のパフォーマンスギャップを狭めることを実証する。
  論文  参考訳（メタデータ） (2024-10-03T19:02:50Z)
• Differentially Private Online Federated Learning with Correlated Noise [8.349938538355772]
  本稿では,時間的相関雑音を用いたオンラインフェデレーション学習のための新しい微分プライベートアルゴリズムを提案する。 本研究では,局所更新によるドリフト誤差を準強凸条件下で効果的に管理できることを示す。
  論文  参考訳（メタデータ） (2024-03-25T08:35:19Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• The Paradox of Noise: An Empirical Study of Noise-Infusion Mechanisms to Improve Generalization, Stability, and Privacy in Federated Learning [0.0]
  本研究では,付加雑音の存在下でのディープラーニングモデルのプライバシ,一般化,安定性について検討する。 我々は、ノイズ注入モデルのプライバシとトレーニング精度のトレードオフの尺度として、Signal-to-Noise Ratio (SNR) を用いる。 ノイズを正規化とプライバシ強化のツールとして活用することにより、堅牢でプライバシを意識したアルゴリズムの開発に寄与することを目指している。
  論文  参考訳（メタデータ） (2023-11-09T23:36:18Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning [86.08285033925597]
  本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。 我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。 新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
  論文  参考訳（メタデータ） (2023-03-07T22:52:40Z)
• Gradient Descent with Linearly Correlated Noise: Theory and Applications to Differential Privacy [17.81999485513265]
  線形相関雑音下での勾配降下について検討する。 我々はこの結果を用いて、微分プライベート最適化のための新しい効果的な行列分解法を開発した。
  論文  参考訳（メタデータ） (2023-02-02T23:32:24Z)
• Inference and Denoise: Causal Inference-based Neural Speech Enhancement [83.4641575757706]
  本研究では、雑音の存在を介入としてモデル化することにより、因果推論パラダイムにおける音声強調(SE)課題に対処する。 提案した因果推論に基づく音声強調(CISE)は,ノイズ検出器を用いて間欠雑音音声中のクリーンフレームとノイズフレームを分離し,両フレームセットを2つのマスクベース拡張モジュール(EM)に割り当て,ノイズ条件SEを実行する。
  論文  参考訳（メタデータ） (2022-11-02T15:03:50Z)
• Action Noise in Off-Policy Deep Reinforcement Learning: Impact on Exploration and Performance [5.573543601558405]
  我々は,学習方針が騒音タイプ,騒音スケール,影響スケーリング要因の低減スケジュールにどのように影響するかを分析する。 我々は、Ornstein-Uhlenbeckノイズという、最も顕著な2種類のアクションノイズについて検討し、膨大な実験運動を行う。 本研究は, 騒音の種類と規模が環境依存であることを示すとともに, 行動雑音の選択を導くためのルールを導出する。
  論文  参考訳（メタデータ） (2022-06-08T10:06:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。