論文の概要: Partial Model Averaging in Federated Learning: Performance Guarantees and Benefits

• arxiv url: http://arxiv.org/abs/2201.03789v1
• Date: Tue, 11 Jan 2022 05:32:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-12 19:01:21.360903
• Title: Partial Model Averaging in Federated Learning: Performance Guarantees and Benefits
• Title（参考訳）: フェデレーション学習における部分モデル平均化:パフォーマンス保証とメリット
• Authors: Sunwoo Lee, Anit Kumar Sahu, Chaoyang He, and Salman Avestimehr
• Abstract要約: 周期モデル平均化(FedAvg)を用いた局所勾配Descent(SGD)は、フェデレートラーニングにおける基礎的アルゴリズムである。 フェデレートラーニングにおけるモデルの相違を緩和する部分モデル平均化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 15.77941565958136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Local Stochastic Gradient Descent (SGD) with periodic model averaging (FedAvg) is a foundational algorithm in Federated Learning. The algorithm independently runs SGD on multiple workers and periodically averages the model across all the workers. When local SGD runs with many workers, however, the periodic averaging causes a significant model discrepancy across the workers making the global loss converge slowly. While recent advanced optimization methods tackle the issue focused on non-IID settings, there still exists the model discrepancy issue due to the underlying periodic model averaging. We propose a partial model averaging framework that mitigates the model discrepancy issue in Federated Learning. The partial averaging encourages the local models to stay close to each other on parameter space, and it enables to more effectively minimize the global loss. Given a fixed number of iterations and a large number of workers (128), the partial averaging achieves up to 2.2% higher validation accuracy than the periodic full averaging.
• Abstract（参考訳）: 周期モデル平均化(FedAvg)を用いた局所確率勾配決定(SGD)は、フェデレートラーニングにおける基礎的アルゴリズムである。 アルゴリズムは独立して複数のワーカー上でsgdを実行し、すべてのワーカーに対して定期的にモデルを平均化する。 しかし、局所的なSGDが多くの労働者と共に実行されると、周期的な平均化は労働者間で重要なモデル差を引き起こし、グローバルな損失は緩やかに収束する。 最近の高度な最適化手法は、非IID設定に焦点をあてた問題に対処しているが、根底にある周期モデル平均化によるモデル差の問題はまだ残っている。 フェデレートラーニングにおけるモデルの相違を緩和する部分モデル平均化フレームワークを提案する。 部分平均化により、局所モデル同士がパラメータ空間に近接することを奨励し、より効果的にグローバル損失を最小化することができる。 一定回数の反復と多数の作業者(128)が与えられた場合、部分的平均は周期的全平均よりも最大2.2%高い検証精度が得られる。

関連論文リスト

• Vanishing Variance Problem in Fully Decentralized Neural-Network Systems [0.8212195887472242]
  フェデレートラーニングとゴシップラーニングは、データプライバシの懸念を軽減するために考案された方法論だ。 本研究では,分散補正モデル平均化アルゴリズムを提案する。 シミュレーションの結果,Gossip学習は,フェデレート学習に匹敵する収束効率を実現することができることがわかった。
  論文  参考訳（メタデータ） (2024-04-06T12:49:20Z)
• FedSPU: Personalized Federated Learning for Resource-constrained Devices with Stochastic Parameter Update [0.27309692684728615]
  Federated Dropoutはこの課題に対処するための一般的な戦略として登場した。 パラメータ更新によるフェデレーション学習(FedSPU)を提案する。 実験の結果,FedSPUはFederated Dropoutを平均7.57%の精度で上回った。
  論文  参考訳（メタデータ） (2024-03-18T04:31:38Z)
• Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
  フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。 本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。 提案手法は最先端手法に比べて平均精度が13%高い。
  論文  参考訳（メタデータ） (2023-11-14T14:37:33Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing Label Bias in Foundation Models [75.9543301303586]
  CLIPのようなファンデーションモデルは、追加のトレーニングデータなしで、さまざまなタスクでゼロショット転送を可能にする。 微調整やアンサンブルも一般的に下流のタスクに合うように採用されている。 しかし、先行研究は基礎モデルに固有のバイアスを見落としていると論じる。
  論文  参考訳（メタデータ） (2023-10-12T08:01:11Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Robust and Efficient Aggregation for Distributed Learning [37.203175053625245]
  平均化に基づく分散学習スキームは、外れ値に影響を受けやすいことが知られている。 単一の悪意のあるエージェントは、平均的な分散学習アルゴリズムを任意に貧弱なモデルに駆動することができる。 これは、中央値とトリミング平均の変動に基づくロバストアグリゲーションスキームの発展を動機付けている。
  論文  参考訳（メタデータ） (2022-04-01T17:17:41Z)
• Optimal Model Averaging: Towards Personalized Collaborative Learning [0.0]
  連合学習では、参加ノード間のデータや目的の違いが、各ノードに対してパーソナライズされた機械学習モデルをトレーニングするためのアプローチを動機付けている。 そのようなアプローチの1つは、局所的に訓練されたモデルとグローバルモデルの間の重み付き平均化である。 局所モデルと比較して予測される2乗誤差を減少させるモデル平均化の正の量が常に存在することがわかった。
  論文  参考訳（メタデータ） (2021-10-25T13:33:20Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。