論文の概要: Distributionally Robust Federated Averaging
- arxiv url: http://arxiv.org/abs/2102.12660v1
- Date: Thu, 25 Feb 2021 03:32:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-27 09:58:20.009685
- Title: Distributionally Robust Federated Averaging
- Title（参考訳）: 分散ロバストフェデレーション平均化
- Authors: Yuyang Deng, Mohammad Mahdi Kamani, Mehrdad Mahdavi
- Abstract要約: 適応サンプリングを用いた堅牢な学習周期平均化のためのコミュニケーション効率の高い分散アルゴリズムを提案する。
我々は、フェデレーション学習環境における理論的結果に関する実験的証拠を裏付ける。
- 参考スコア（独自算出の注目度）: 19.875176871167966
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we study communication efficient distributed algorithms for
distributionally robust federated learning via periodic averaging with adaptive
sampling. In contrast to standard empirical risk minimization, due to the
minimax structure of the underlying optimization problem, a key difficulty
arises from the fact that the global parameter that controls the mixture of
local losses can only be updated infrequently on the global stage. To
compensate for this, we propose a Distributionally Robust Federated Averaging
(DRFA) algorithm that employs a novel snapshotting scheme to approximate the
accumulation of history gradients of the mixing parameter. We analyze the
convergence rate of DRFA in both convex-linear and nonconvex-linear settings.
We also generalize the proposed idea to objectives with regularization on the
mixture parameter and propose a proximal variant, dubbed as DRFA-Prox, with
provable convergence rates. We also analyze an alternative optimization method
for regularized cases in strongly-convex-strongly-concave and non-convex (under
PL condition)-strongly-concave settings. To the best of our knowledge, this
paper is the first to solve distributionally robust federated learning with
reduced communication, and to analyze the efficiency of local descent methods
on distributed minimax problems. We give corroborating experimental evidence
for our theoretical results in federated learning settings.
- Abstract（参考訳）: 本稿では,適応サンプリングを用いた周期平均化による分散学習のためのコミュニケーション効率の高い分散アルゴリズムについて検討する。
標準の経験的リスク最小化とは対照的に、基礎となる最適化問題のミニマックス構造のために、局所損失の混合を制御するグローバルパラメータがグローバルステージでしか更新できないという事実から大きな困難が生じます。
そこで本論文では,混合パラメータの履歴勾配の蓄積を近似するために,新しいスナップショット方式を用いた分散ロバストフェデレーション平均化(DRFA)アルゴリズムを提案する。
凸線と非凸線の両方の設定におけるDRFAの収束速度を解析する。
また,提案したアイデアを混合パラメータ上で正規化して目的に一般化し,DRFA-Proxと呼ばれる近位変種を証明可能な収束率で提案する。
また, 強凸強凸および非凸(pl条件下で)強凸強凸設定における正則化ケースに対する代替最適化法を解析した。
本論文では,分散ミニマックス問題に対する局所降下手法の効率性を分析するために,分散的に堅牢なフェデレーション学習をコミュニケーションの低下と共に解決した。
我々は、フェデレーション学習環境における理論的結果に関する実験的証拠を裏付ける。
関連論文リスト
- PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。
本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。
その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
論文 参考訳（メタデータ） (2023-08-03T18:03:44Z) - Distributed Distributionally Robust Optimization with Non-Convex
Objectives [24.64654924173679]
Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。
新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。
実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
論文 参考訳（メタデータ） (2022-10-14T07:39:13Z) - Asymptotically Unbiased Instance-wise Regularized Partial AUC
Optimization: Theory and Algorithm [101.44676036551537]
One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。
既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。
本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
論文 参考訳（メタデータ） (2022-10-08T08:26:22Z) - Depersonalized Federated Learning: Tackling Statistical Heterogeneity by
Alternating Stochastic Gradient Descent [6.394263208820851]
フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。
様々な共役者によって保持される生データは、常に不特定に分散される。
本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
論文 参考訳（メタデータ） (2022-10-07T10:30:39Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD
for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
ローカル手法は通信時間を短縮する有望なアプローチの1つである。
局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-02-12T15:12:17Z) - Distributionally Robust Fair Principal Components via Geodesic Descents [16.440434996206623]
大学入学、医療、信用承認などのその後の領域では、学習予測の公正性や堅牢性といった新たな基準を考慮に入れることが不可欠である。
本稿では,主成分分析のための分布的ロバストな最適化問題を提案する。
実世界のデータセットに対する実験結果から,提案手法が最先端のベースラインに対して有益であることを示す。
論文 参考訳（メタデータ） (2022-02-07T11:08:13Z) - Distributed and Stochastic Optimization Methods with Gradient
Compression and Local Steps [0.0]
本稿では,誤差補償と局所的な更新を伴う解析および分散手法に関する理論的枠組みを提案する。
線形収束型Error-pensated法と分散型Local-SGD法を含む20以上の新しい最適化手法を開発した。
論文 参考訳（メタデータ） (2021-12-20T16:12:54Z) - KL Guided Domain Adaptation [88.19298405363452]
ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。
ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。
確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
論文 参考訳（メタデータ） (2021-06-14T22:24:23Z) - Towards Optimal Problem Dependent Generalization Error Bounds in
Statistical Learning Theory [11.840747467007963]
我々は,「ベスト勾配仮説」で評価された分散,有効損失誤差,ノルムとほぼ最適にスケールする問題依存率について検討する。
一様局所収束(uniform localized convergence)と呼ばれる原理的枠組みを導入する。
我々は,既存の一様収束と局所化解析のアプローチの基本的制約を,我々のフレームワークが解決していることを示す。
論文 参考訳（メタデータ） (2020-11-12T04:07:29Z) - Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable
Neural Distribution Alignment [52.02794488304448]
そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。
入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
論文 参考訳（メタデータ） (2020-03-26T22:10:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。