論文の概要: Private Adaptive Optimization with Side Information
- arxiv url: http://arxiv.org/abs/2202.05963v1
- Date: Sat, 12 Feb 2022 03:02:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-18 11:38:39.635344
- Title: Private Adaptive Optimization with Side Information
- Title(参考訳): サイド情報を用いたプライベート適応最適化
- Authors: Tian Li, Manzil Zaheer, Sashank J. Reddi, Virginia Smith
- Abstract要約: AdaDPSは、非感度側情報を用いて勾配を前提とした一般的なフレームワークである。
AdaDPSは、同様のプライバシー保証を達成するのに必要なノイズを減らす。
以上の結果から,AdaDPSの精度は平均7.7%向上した。
- 参考スコア(独自算出の注目度): 48.91141546624768
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adaptive optimization methods have become the default solvers for many
machine learning tasks. Unfortunately, the benefits of adaptivity may degrade
when training with differential privacy, as the noise added to ensure privacy
reduces the effectiveness of the adaptive preconditioner. To this end, we
propose AdaDPS, a general framework that uses non-sensitive side information to
precondition the gradients, allowing the effective use of adaptive methods in
private settings. We formally show AdaDPS reduces the amount of noise needed to
achieve similar privacy guarantees, thereby improving optimization performance.
Empirically, we leverage simple and readily available side information to
explore the performance of AdaDPS in practice, comparing to strong baselines in
both centralized and federated settings. Our results show that AdaDPS improves
accuracy by 7.7% (absolute) on average -- yielding state-of-the-art
privacy-utility trade-offs on large-scale text and image benchmarks.
- Abstract(参考訳): 適応最適化手法は多くの機械学習タスクのデフォルトの解法となっている。
残念ながら、適応性の利点は、適応型プレコンディショナーの有効性を低下させるため、差分プライバシーによるトレーニングで劣化する可能性がある。
そこで本研究では,非センシティブな側情報を用いて勾配をプリコンディショニングする汎用フレームワークであるadadpsを提案する。
我々は、AdaDPSが同様のプライバシー保証を実現するのに必要なノイズ量を削減し、最適化性能を向上させることを正式に示す。
実証的に、我々はAdaDPSの性能を調べるために、シンプルで容易に利用できるサイド情報を活用し、中央集権的および連合的両方の設定において強力なベースラインと比較した。
我々の結果は、AdaDPSが平均で7.7%(絶対)の精度向上を実現していることを示している。
関連論文リスト
- Towards Efficient and Exact Optimization of Language Model Alignment [97.41422112912574]
本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
我々は,EXOがRLアルゴリズムと同じ方向に最適化されることを証明した。
さらに、現実的な人間の嗜好データに対する既存のアプローチよりも、提案手法の利点を実証する。
論文 参考訳(メタデータ) (2024-02-01T18:51:54Z) - Online Sensitivity Optimization in Differentially Private Learning [8.12606646175019]
クリッピング閾値を動的に最適化する新しい手法を提案する。
我々は、このしきい値を学習可能なパラメータとして扱い、しきい値とコスト関数のクリーンな関係を確立する。
提案手法は, 多様なデータセット, タスク, モデル次元, プライバシレベルにまたがる代替的かつ適応的な戦略に対して, 徹底的に評価される。
論文 参考訳(メタデータ) (2023-10-02T00:30:49Z) - DP-HyPO: An Adaptive Private Hyperparameter Optimization Framework [31.628466186344582]
適応'のプライベートハイパーパラメータ最適化のための先駆的フレームワークであるDP-HyPOを紹介する。
フレームワークの総合的な差分プライバシー分析を提供する。
本研究では,DP-HyPOが実世界の多様なデータセットに対して有効であることを示す。
論文 参考訳(メタデータ) (2023-06-09T07:55:46Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳(メタデータ) (2023-05-24T13:44:02Z) - Differentially Private Adaptive Optimization with Delayed
Preconditioners [44.190582378775694]
補助データのないトレーニングにおいて適応幾何学を推定する手法を探索する。
適応的手法が古いプレコンディショナーを許容できるという観察に感銘を受けて、我々は微分適応型プライベートトレーニングを提案する。
実験的にDP2を探索し、非適応ベースラインに対して最大4倍の収束速度を向上できることを実証した。
論文 参考訳(メタデータ) (2022-12-01T06:59:30Z) - The Role of Adaptive Optimizers for Honest Private Hyperparameter
Selection [12.38071940409141]
標準合成ツールは、多くの設定において、より高度な技術よりも優れていることを示す。
我々は、新しいより効率的なツールを設計するために、DP設定におけるAdamの制限的な振る舞いを描きます。
論文 参考訳(メタデータ) (2021-11-09T01:56:56Z) - Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
本稿では,適応的(確率的)勾配摂動法を提案する。
ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-10-14T15:02:20Z) - Bilevel Optimization for Differentially Private Optimization in Energy
Systems [53.806512366696275]
本稿では,入力に敏感な制約付き最適化問題に対して,差分プライバシーを適用する方法について検討する。
本稿は, 自然仮定の下では, 大規模非線形最適化問題に対して, 双レベルモデルを効率的に解けることを示す。
論文 参考訳(メタデータ) (2020-01-26T20:15:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。