Fugu-MT 論文翻訳(概要): FRAIN to Train: A Fast-and-Reliable Solution for Decentralized Federated Learning

論文の概要: FRAIN to Train: A Fast-and-Reliable Solution for Decentralized Federated Learning

arxiv url: http://arxiv.org/abs/2505.04223v1
Date: Wed, 07 May 2025 08:20:23 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-08 19:07:36.009881
Title: FRAIN to Train: A Fast-and-Reliable Solution for Decentralized Federated Learning
Title（参考訳）: FRAINからトレーニングへ - 分散学習のための高速で信頼性の高いソリューション
Authors: Sanghyeon Park, Soo-Mook Moon,
Abstract要約: 非同期学習(FL)は、データの局所性を維持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。我々は、2つの重要なアイデアを取り入れることでこれらの制限を緩和する新しいFL手法であるFRAIN(Fast-and-Reliable AI Network)を導入する。 CNNイメージ分類モデルとTransformerベースの言語モデルによる実験では、FRAINはFedAvg、FedAsync、BRAINよりも安定的で堅牢な収束を実現している。
参考スコア（独自算出の注目度）: 1.1510009152620668
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning (FL) enables collaborative model training across distributed clients while preserving data locality. Although FedAvg pioneered synchronous rounds for global model averaging, slower devices can delay collective progress. Asynchronous FL (e.g., FedAsync) addresses stragglers by continuously integrating client updates, yet naive implementations risk client drift due to non-IID data and stale contributions. Some Blockchain-based FL approaches (e.g., BRAIN) employ robust weighting or scoring of updates to resist malicious or misaligned proposals. However, performance drops can still persist under severe data heterogeneity or high staleness, and synchronization overhead has emerged as a new concern due to its aggregator-free architectures. We introduce Fast-and-Reliable AI Network, FRAIN, a new asynchronous FL method that mitigates these limitations by incorporating two key ideas. First, our FastSync strategy eliminates the need to replay past model versions, enabling newcomers and infrequent participants to efficiently approximate the global model. Second, we adopt spherical linear interpolation (SLERP) when merging parameters, preserving models' directions and alleviating destructive interference from divergent local training. Experiments with a CNN image-classification model and a Transformer-based language model demonstrate that FRAIN achieves more stable and robust convergence than FedAvg, FedAsync, and BRAIN, especially under harsh environments: non-IID data distributions, networks that experience delays and require frequent re-synchronization, and the presence of malicious nodes.
Abstract（参考訳）: フェデレートラーニング(FL)は、データのローカリティを維持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。 FedAvgは、グローバルモデル平均化のための同期ラウンドを開拓したが、遅いデバイスは全体的な進捗を遅らせる可能性がある。非同期FL(例:FedAsync)は、継続的にクライアント更新を統合することでストラグラーに対処する。 BlockchainベースのFLアプローチ(例:BRAIN)では、悪意のあるあるいは不一致な提案に抵抗するために、堅牢な重み付けやアップデートのスコア付けを採用している。しかし、パフォーマンス低下は厳密なデータの不均一性や高い安定性の下でも継続することができ、同期オーバーヘッドはアグリゲータのないアーキテクチャのために新たな懸念事項として浮上している。我々は2つの重要なアイデアを取り入れることで、これらの制限を緩和する新しい非同期FLメソッドであるFRAIN(Fast-and-Reliable AI Network)を導入する。まず、われわれのFastSync戦略は過去のモデルバージョンを再生する必要をなくし、新参者や少人数の参加者がグローバルモデルを効率的に近似できるようにする。第2に,パラメータのマージ,モデル方向の保存,発散した局所訓練からの破壊的干渉の緩和などにおいて,球状線形補間(SLERP)を採用する。 CNNイメージ分類モデルとTransformerベースの言語モデルによる実験では、FRAINはFedAvg、FedAsync、BRAINよりも安定的で堅牢な収束を実現している。

関連論文リスト

Asynchronous Federated Learning: A Scalable Approach for Decentralized Machine Learning [0.9208007322096533]
フェデレートラーニング(FL)は、分散機械学習の強力なパラダイムとして登場し、生データを共有することなく、さまざまなクライアント間で協調的なモデルトレーニングを可能にする。従来のFLアプローチは、同期クライアントのアップデートに依存しているため、スケーラビリティと効率の制限に直面することが多い。本稿では、クライアントが独立して非同期にグローバルモデルを更新できる非同期フェデレートラーニング(AFL)アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-12-23T17:11:02Z)
Asynchronous Byzantine Federated Learning [4.6792910030704515]
フェデレートラーニング(FL)は、地理的に分散した一連のクライアントが、サーバを通じてモデルを集合的に訓練することを可能にする。私たちのソリューションは、最初のビザンチン耐性および非同期FLアルゴリズムの1つである。我々は、画像とテキストの両方のデータセットにおける最先端のアルゴリズムと比較して、ソリューションの性能を比較した。
論文参考訳（メタデータ） (2024-06-03T15:29:38Z)
FedAST: Federated Asynchronous Simultaneous Training [27.492821176616815]
フェデレートラーニング(FL)は、デバイスやクライアントがプライベートデータを共有せずに機械学習(ML)モデルを協調的にトレーニングすることを可能にする。 FLにおける既存の作業の多くは、1つのタスクのモデルを効率的に学習することに集中しています。本稿では,共通データセットを用いた複数のFLモデルの同時学習を提案する。
論文参考訳（メタデータ） (2024-06-01T05:14:20Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文参考訳（メタデータ） (2023-12-18T05:18:17Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。