論文の概要: FedCos: A Scene-adaptive Federated Optimization Enhancement for Performance Improvement

• arxiv url: http://arxiv.org/abs/2204.03174v1
• Date: Thu, 7 Apr 2022 02:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 14:06:01.634468
• Title: FedCos: A Scene-adaptive Federated Optimization Enhancement for Performance Improvement
• Title（参考訳）: FedCos: パフォーマンス改善のためのシーン適応型フェデレーション最適化
• Authors: Hao Zhang, Tingting Wu, Siyao Cheng and Jie Liu
• Abstract要約: 我々は,コサイン類似性ペナルティを導入することにより,局所モデルの方向性の不整合を低減するFedCosを提案する。 我々は、FedCosがよく知られたベースラインより優れており、様々なFLシーンでそれらを強化できることを示す。 FedCosの助けを借りて、複数のFLメソッドは、同等の性能のモデルを得るために、以前よりもはるかに少ない通信ラウンドを必要とする。
• 参考スコア（独自算出の注目度）: 11.687451505965655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As an emerging technology, federated learning (FL) involves training machine learning models over distributed edge devices, which attracts sustained attention and has been extensively studied. However, the heterogeneity of client data severely degrades the performance of FL compared with that in centralized training. It causes the locally trained models of clients to move in different directions. On the one hand, it slows down or even stalls the global updates, leading to inefficient communication. On the other hand, it enlarges the distances between local models, resulting in an aggregated global model with poor performance. Fortunately, these shortcomings can be mitigated by reducing the angle between the directions that local models move in. Based on this fact, we propose FedCos, which reduces the directional inconsistency of local models by introducing a cosine-similarity penalty. It promotes the local model iterations towards an auxiliary global direction. Moreover, our approach is auto-adapt to various non-IID settings without an elaborate selection of hyperparameters. The experimental results show that FedCos outperforms the well-known baselines and can enhance them under a variety of FL scenes, including varying degrees of data heterogeneity, different number of participants, and cross-silo and cross-device settings. Besides, FedCos improves communication efficiency by 2 to 5 times. With the help of FedCos, multiple FL methods require significantly fewer communication rounds than before to obtain a model with comparable performance.
• Abstract（参考訳）: 新たなテクノロジとして、フェデレーション学習(fl)では、分散エッジデバイス上でマシンラーニングモデルをトレーニングする。 しかし、クライアントデータの不均一性は、集中トレーニングと比べてFLの性能を著しく低下させる。 これにより、ローカルにトレーニングされたクライアントのモデルが異なる方向に移動する。 一方で、グローバルなアップデートを遅くしたり、停止したりすることで、非効率なコミュニケーションにつながります。 一方、局所モデル間の距離を拡大し、結果として性能が劣る集約されたグローバルモデルとなる。 幸いなことに、これらの欠点は、ローカルモデルが移動する方向間の角度を減らすことで軽減できる。 この事実に基づいて,コサイン類似性ペナルティを導入することにより,局所モデルの方向性の不整合を低減するFedCosを提案する。 局所モデル反復を補助的なグローバル方向に向けて促進する。 さらに,本手法は高パラメータの精巧な選択を伴わず,様々な非IID設定に適応する。 実験結果から、FedCosはよく知られたベースラインよりも優れており、さまざまなデータ均一性、参加者数、クロスサイロおよびクロスデバイス設定など、さまざまなFLシーンでそれらを強化することができることがわかった。 さらに、FedCosは通信効率を2倍から5倍改善する。 FedCosの助けを借りて、複数のFLメソッドは、同等の性能のモデルを得るために、以前よりもはるかに少ない通信ラウンドを必要とする。

関連論文リスト

• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• FedMR: Fedreated Learning via Model Recombination [7.404225808071622]
  Federated Learning (FL)は、クライアント間でのグローバルモデルトレーニングを可能にする。 既存のFLメソッドは、Federated Averaging(FedAvg)ベースのアグリゲーションに依存しています。 本稿ではFedMR(Federating Model Recombination)という新しいFLパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-08-16T11:30:19Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• AdaBest: Minimizing Client Drift in Federated Learning via Adaptive Bias Estimation [12.62716075696359]
  フェデレートラーニング(FL)では、多くのクライアントやデバイスが協力して、データを共有せずにモデルをトレーニングします。 このドリフトを推定・除去するために、近年FL最適化に分散低減技術が組み込まれている。 本稿では,クライアント間のドリフトを正確に推定する適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-27T20:04:24Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
  Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。 非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。 本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
  論文  参考訳（メタデータ） (2022-02-23T10:08:43Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)
• Continual Local Training for Better Initialization of Federated Models [14.289213162030816]
  フェデレートラーニング(Federated Learning、FL)とは、機械学習モデルを分散システムで直接訓練する学習パラダイムである。 一般的なFLアルゴリズムであるemphFederated Averaging (FedAvg)は重みのばらつきに悩まされている。 本稿では,この問題に対処するための局所的な継続的トレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-05-26T12:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。