論文の概要: FedRewind: Rewinding Continual Model Exchange for Decentralized Federated Learning

• arxiv url: http://arxiv.org/abs/2411.09842v1
• Date: Thu, 14 Nov 2024 23:14:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:37:43.216972
• Title: FedRewind: Rewinding Continual Model Exchange for Decentralized Federated Learning
• Title（参考訳）: FedRewind:分散学習のための継続的モデル交換を廃止
• Authors: Luca Palazzo, Matteo Pennisi, Federica Proietto Salanitri, Giovanni Bellitto, Simone Palazzo, Concetto Spampinato,
• Abstract要約: 我々は、分散化フェデレーション学習の新しいアプローチであるFedRewindを紹介する。 FedRewindは、ノードがフェデレーション内の他のノードにモデルを送受信する分散ルーティングメカニズムを実装している。 提案手法を複数のベンチマークで評価し,標準分散型フェデレーション学習法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 9.05685040942307
• License:
• Abstract: In this paper, we present FedRewind, a novel approach to decentralized federated learning that leverages model exchange among nodes to address the issue of data distribution shift. Drawing inspiration from continual learning (CL) principles and cognitive neuroscience theories for memory retention, FedRewind implements a decentralized routing mechanism where nodes send/receive models to/from other nodes in the federation to address spatial distribution challenges inherent in distributed learning (FL). During local training, federation nodes periodically send their models back (i.e., rewind) to the nodes they received them from for a limited number of iterations. This strategy reduces the distribution shift between nodes' data, leading to enhanced learning and generalization performance. We evaluate our method on multiple benchmarks, demonstrating its superiority over standard decentralized federated learning methods and those enforcing specific routing schemes within the federation. Furthermore, the combination of federated and continual learning concepts enables our method to tackle the more challenging federated continual learning task, with data shifts over both space and time, surpassing existing baselines.
• Abstract（参考訳）: 本稿では,ノード間のモデル交換を利用した分散化フェデレーション学習における新たなアプローチであるFedRewindを提案する。 連続学習(CL)の原理と記憶保持のための認知神経科学理論からインスピレーションを得たFedRewindは、分散学習(FL)に固有の空間分布問題に対処するために、ノードがフェデレーション内の他のノードへ/からモデルを送受信する分散ルーティング機構を実装した。 ローカルトレーニング中、フェデレーションノードは定期的にモデル(すなわちリウインド)を、限られた回数のイテレーションで受け取ったノードに送信する。 この戦略はノードのデータ間の分散シフトを減らし、学習と一般化のパフォーマンスを向上させる。 提案手法を複数のベンチマークで評価し,標準分散化されたフェデレーション学習手法と,フェデレーション内で特定のルーティング方式を強制する手法よりも優れていることを示す。 さらに,フェデレーションと継続学習の概念を組み合わせることで,既存のベースラインを越えながら,空間と時間の両方にデータシフトを伴って,より困難なフェデレーション連続学習課題に取り組むことができる。

関連論文リスト

• Proximity-based Self-Federated Learning [1.0066310107046081]
  本稿では,近接型自己フェデレーション学習という,新しい完全分散型フェデレーション学習戦略を提案する。 従来のアルゴリズムとは異なり、我々の手法は、地理的近接とモデル精度に基づいて、クライアントが近隣ノードとモデルを共有し、調整することを奨励する。
  論文  参考訳（メタデータ） (2024-07-17T08:44:45Z)
• Variational Bayes for Federated Continual Learning [38.11883572425234]
  フェデレートベイズニューラルネットワーク(Federated Bayesian Neural Network, FedBNN)は,すべてのクライアントに分散ベイズニューラルネットワークを用いた多目的かつ効率的なフレームワークである。 本手法は, 局所的および歴史的データ分布からの知識を単一モデルに連続的に統合し, 履歴分布の性能を維持しつつ, 新たなデータ分布から順応的に学習する。
  論文  参考訳（メタデータ） (2024-05-23T08:09:21Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• FedRC: Tackling Diverse Distribution Shifts Challenge in Federated Learning by Robust Clustering [4.489171618387544]
  Federated Learning(FL)は、エッジデバイス上でクライアントデータを保持することによって、プライバシを保護する機械学習パラダイムである。 本稿では,多様な分布シフトの同時発生による学習課題を特定する。 提案するクラスタリングの原理に従う新しいクラスタリングアルゴリズムフレームワークであるFedRCを提案する。
  論文  参考訳（メタデータ） (2023-01-29T06:50:45Z)
• Decentralized Federated Reinforcement Learning for User-Centric Dynamic TFDD Control [37.54493447920386]
  非対称かつ不均一なトラフィック要求を満たすための学習に基づく動的時間周波数分割二重化(D-TFDD)方式を提案する。 分散化された部分観測可能なマルコフ決定過程(Dec-POMDP)として問題を定式化する。 本稿では,グローバルリソースを分散的に最適化するために,Wolpertinger Deep Deterministic Policy gradient (FWDDPG)アルゴリズムという,連合強化学習(RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-04T07:39:21Z)
• FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
  フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。 本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。 これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
  論文  参考訳（メタデータ） (2022-05-19T03:32:03Z)
• Decentralized Event-Triggered Federated Learning with Heterogeneous Communication Thresholds [12.513477328344255]
  ネットワークグラフトポロジ上での非同期なイベントトリガーによるコンセンサス反復による分散モデルアグリゲーションのための新しい手法を提案する。 本手法は,分散学習とグラフコンセンサス文学における標準的な仮定の下で,グローバルな最適学習モデルを実現することを実証する。
  論文  参考訳（メタデータ） (2022-04-07T20:35:37Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Unsupervised Learning for Asynchronous Resource Allocation in Ad-hoc Wireless Networks [122.42812336946756]
  集約グラフニューラルネットワーク(Agg-GNN)に基づく教師なし学習手法を設計する。 アクティベーションパターンを各ノードの特徴としてモデル化し,ポリシーに基づくリソース割り当て手法を訓練することにより,非同期性を捉える。
  論文  参考訳（メタデータ） (2020-11-05T03:38:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。