論文の概要: Private Adaptive Optimization with Side Information

• arxiv url: http://arxiv.org/abs/2202.05963v1
• Date: Sat, 12 Feb 2022 03:02:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 11:38:39.635344
• Title: Private Adaptive Optimization with Side Information
• Title（参考訳）: サイド情報を用いたプライベート適応最適化
• Authors: Tian Li, Manzil Zaheer, Sashank J. Reddi, Virginia Smith
• Abstract要約: AdaDPSは、非感度側情報を用いて勾配を前提とした一般的なフレームワークである。 AdaDPSは、同様のプライバシー保証を達成するのに必要なノイズを減らす。 以上の結果から,AdaDPSの精度は平均7.7%向上した。
• 参考スコア（独自算出の注目度）: 48.91141546624768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptive optimization methods have become the default solvers for many machine learning tasks. Unfortunately, the benefits of adaptivity may degrade when training with differential privacy, as the noise added to ensure privacy reduces the effectiveness of the adaptive preconditioner. To this end, we propose AdaDPS, a general framework that uses non-sensitive side information to precondition the gradients, allowing the effective use of adaptive methods in private settings. We formally show AdaDPS reduces the amount of noise needed to achieve similar privacy guarantees, thereby improving optimization performance. Empirically, we leverage simple and readily available side information to explore the performance of AdaDPS in practice, comparing to strong baselines in both centralized and federated settings. Our results show that AdaDPS improves accuracy by 7.7% (absolute) on average -- yielding state-of-the-art privacy-utility trade-offs on large-scale text and image benchmarks.
• Abstract（参考訳）: 適応最適化手法は多くの機械学習タスクのデフォルトの解法となっている。 残念ながら、適応性の利点は、適応型プレコンディショナーの有効性を低下させるため、差分プライバシーによるトレーニングで劣化する可能性がある。 そこで本研究では,非センシティブな側情報を用いて勾配をプリコンディショニングする汎用フレームワークであるadadpsを提案する。 我々は、AdaDPSが同様のプライバシー保証を実現するのに必要なノイズ量を削減し、最適化性能を向上させることを正式に示す。 実証的に、我々はAdaDPSの性能を調べるために、シンプルで容易に利用できるサイド情報を活用し、中央集権的および連合的両方の設定において強力なベースラインと比較した。 我々の結果は、AdaDPSが平均で7.7%(絶対)の精度向上を実現していることを示している。

関連論文リスト

• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Online Sensitivity Optimization in Differentially Private Learning [8.12606646175019]
  クリッピング閾値を動的に最適化する新しい手法を提案する。 我々は、このしきい値を学習可能なパラメータとして扱い、しきい値とコスト関数のクリーンな関係を確立する。 提案手法は, 多様なデータセット, タスク, モデル次元, プライバシレベルにまたがる代替的かつ適応的な戦略に対して, 徹底的に評価される。
  論文  参考訳（メタデータ） (2023-10-02T00:30:49Z)
• DP-HyPO: An Adaptive Private Hyperparameter Optimization Framework [31.628466186344582]
  適応'のプライベートハイパーパラメータ最適化のための先駆的フレームワークであるDP-HyPOを紹介する。 フレームワークの総合的な差分プライバシー分析を提供する。 本研究では,DP-HyPOが実世界の多様なデータセットに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-09T07:55:46Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Differentially Private Adaptive Optimization with Delayed Preconditioners [44.190582378775694]
  補助データのないトレーニングにおいて適応幾何学を推定する手法を探索する。 適応的手法が古いプレコンディショナーを許容できるという観察に感銘を受けて、我々は微分適応型プライベートトレーニングを提案する。 実験的にDP2を探索し、非適応ベースラインに対して最大4倍の収束速度を向上できることを実証した。
  論文  参考訳（メタデータ） (2022-12-01T06:59:30Z)
• Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
  本稿では,適応的(確率的)勾配摂動法を提案する。 ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。