Fugu-MT 論文翻訳(概要): From Deterioration to Acceleration: A Calibration Approach to Rehabilitating Step Asynchronism in Federated Optimization

論文の概要: From Deterioration to Acceleration: A Calibration Approach to Rehabilitating Step Asynchronism in Federated Optimization

arxiv url: http://arxiv.org/abs/2112.09355v1
Date: Fri, 17 Dec 2021 07:26:31 GMT
ステータス: 処理完了
システム内更新日: 2021-12-20 23:47:21.864313
Title: From Deterioration to Acceleration: A Calibration Approach to Rehabilitating Step Asynchronism in Federated Optimization
Title（参考訳）: 劣化から加速へ:フェデレーション最適化におけるステップ非同期性回復のためのキャリブレーションアプローチ
Authors: Feijie Wu, Song Guo, Haozhao Wang, Zhihao Qu, Haobo Zhang, Jie Zhang, Ziming Liu
Abstract要約: 我々は,局所的な方向を予測的グローバルな方向に調整する新しいアルゴリズムであるtexttFedaGracを提案する。理論的には、texttFedaGrac は最先端のアプローチよりも収束率の向上を証明している。
参考スコア（独自算出の注目度）: 13.755421424240048
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In the setting of federated optimization, where a global model is aggregated periodically, step asynchronism occurs when participants conduct model training with fully utilizing their computational resources. It is well acknowledged that step asynchronism leads to objective inconsistency under non-i.i.d. data, which degrades the model accuracy. To address this issue, we propose a new algorithm \texttt{FedaGrac}, which calibrates the local direction to a predictive global orientation. Taking the advantage of estimated orientation, we guarantee that the aggregated model does not excessively deviate from the expected orientation while fully utilizing the local updates of faster nodes. We theoretically prove that \texttt{FedaGrac} holds an improved order of convergence rate than the state-of-the-art approaches and eliminates the negative effect of step asynchronism. Empirical results show that our algorithm accelerates the training and enhances the final accuracy.
Abstract（参考訳）: グローバルモデルが定期的に集約されるフェデレーション最適化の設定では、参加者が計算資源を十分に活用してモデルトレーニングを行うと、ステップ非同期が発生する。ステップ非同期性は非i.i.d.データの下で客観的な矛盾を招き、モデルの精度を低下させる。この問題に対処するために,我々は,局所方向を予測的大域的方向へ対応づける新しいアルゴリズム \texttt{fedagrac} を提案する。推定向きの利点を生かして、より高速なノードのローカル更新を十分に活用しながら、集約モデルが期待方向から過度に逸脱しないことを保証する。理論的には、 \texttt{fedagrac} は最先端のアプローチよりも収束速度が向上し、ステップ非同期の負の効果が排除される。実験の結果,本アルゴリズムはトレーニングを高速化し,最終的な精度を向上させる。

関連論文リスト

FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
論文参考訳（メタデータ） (2024-07-25T20:02:57Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
Momentum Approximation in Asynchronous Private Federated Learning [26.57367597853813]
運動量近似は、運動量を持つ既存のFLと比較すると、収束速度が1.15のテクスム−-4タイムで達成できる。モメンタム近似は、小さな通信とストレージコストで、実運用FLシステムに容易に統合できる。
論文参考訳（メタデータ） (2024-02-14T15:35:53Z)
Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文参考訳（メタデータ） (2023-11-02T16:45:25Z)
Efficient Federated Learning via Local Adaptive Amended Optimizer with Linear Speedup [90.26270347459915]
そこで我々は,グローバル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アルゴリズムを提案する。 textitLADAは通信ラウンドを大幅に削減し、複数のベースラインよりも高い精度を実現する。
論文参考訳（メタデータ） (2023-07-30T14:53:21Z)
Blind Asynchronous Over-the-Air Federated Edge Learning [15.105440618101147]
Federated Edge Learning (FEEL)は、分散機械学習技術である。本研究では,大気上のグローバルモデルのパラメータを復元する新しい同期のない手法を提案する。提案アルゴリズムは, 理想的な同期シナリオに10ドル近く近づき, 単純な場合よりも4倍の精度で実行可能である。
論文参考訳（メタデータ） (2022-10-31T16:54:14Z)
Efficient and Light-Weight Federated Learning via Asynchronous Distributed Dropout [22.584080337157168]
非同期学習プロトコルは最近、特にフェデレートラーニング(FL)設定において注目を集めている。分散環境でデバイスの不均一性を処理するためにドロップアウト正規化を利用する新しい非同期FLフレームワークである textttAsyncDrop を提案する。全体として、textttAsyncDropは、最先端の非同期メソッドと比較してパフォーマンスが向上する。
論文参考訳（メタデータ） (2022-10-28T13:00:29Z)
AsyncFedED: Asynchronous Federated Learning with Euclidean Distance based Adaptive Weight Aggregation [17.57059932879715]
非同期学習フレームワークでは、サーバがクライアントから更新を受けると、すべての更新が設定通りに到着するのを待つのではなく、グローバルモデルを更新する。 AsyncFedEDと呼ばれる適応重み付けアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-05-27T07:18:11Z)
Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees [10.984101749941471]
並列および分散最適化アルゴリズムの解析に現れる非同期反復に対する新しい収束結果を紹介する。結果は簡単に適用でき、非同期の度合いが反復の収束率にどのように影響するかを明確に見積もることができる。
論文参考訳（メタデータ） (2021-09-09T19:08:56Z)
Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
論文参考訳（メタデータ） (2020-07-15T05:01:23Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。