論文の概要: MAB-Based Channel Scheduling for Asynchronous Federated Learning in Non-Stationary Environments
- arxiv url: http://arxiv.org/abs/2503.01324v1
- Date: Mon, 03 Mar 2025 09:05:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:16:40.283612
- Title: MAB-Based Channel Scheduling for Asynchronous Federated Learning in Non-Stationary Environments
- Title(参考訳): 非定常環境における非同期フェデレーション学習のためのMABに基づくチャネルスケジューリング
- Authors: Zhiyin Li, Yubo Yang, Tao Yang, Xiaofeng Wu, Ziyu Guo, Bo Hu,
- Abstract要約: フェデレートラーニングは、データ交換のない集中的な調整の下で、クライアント間での分散モデルトレーニングを可能にする。
無線実装では、サーバとクライアント間の頻繁なパラメータ更新は、大きな通信オーバーヘッドを生み出す。
本研究では,非定常チャネル環境を対象とした非同期なフェデレート学習スケジューリングフレームワークを提案する。
- 参考スコア(独自算出の注目度): 12.404264058659429
- License:
- Abstract: Federated learning enables distributed model training across clients under central coordination without raw data exchange. However, in wireless implementations, frequent parameter updates between the server and clients create significant communication overhead. While existing research assumes known channel state information (CSI) or stationary distributions, practical wireless channels exhibit non-stationary characteristics due to channel fading, user mobility, and hostile attacks. The unavailability of CSI and time-varying statistics can cause unpredictable transmission failures, exacerbating client staleness and affecting model convergence. To address these challenges, we propose an asynchronous federated learning scheduling framework for non-stationary channel environments to reduce staleness while promoting fair and efficient communication and aggregation.We focus on two channel scenarios: extremely non-stationary and piecewise stationary. Age of Information (AoI) quantifies client staleness under non-stationary conditions. Through a rigorous convergence analysis, we explore how AoI and per-round client participation affect learning performance. The scheduling problem is modeled within a multi-armed bandit (MAB) framework, and we derive the theoretical lower bounds on AoI regret. Based on these findings, we develop scheduling strategies for both scenarios using the GLR-CUCB and M-exp3 algorithms, also deriving their respective upper bounds on AoI regret. To address imbalanced client updates, we introduce an adaptive allocation strategy that incorporates marginal utility and fairness. Simulations demonstrate that our algorithm reduces AoI regret growth, accelerates federated learning convergence, and promotes fairer aggregation.
- Abstract(参考訳): フェデレートラーニングは、データ交換のない集中的な調整の下で、クライアント間での分散モデルトレーニングを可能にする。
しかし、無線実装では、サーバとクライアント間の頻繁なパラメータ更新は、大きな通信オーバーヘッドを生み出します。
既存の研究では、既知のチャネル状態情報(CSI)や定常分布を前提としているが、実用的な無線チャネルは、チャネルの消失、ユーザモビリティ、敵意攻撃による非定常特性を示す。
CSIと時間変化統計の不有効性は、予測不可能な送信障害を引き起こし、クライアントの不安定性を悪化させ、モデル収束に影響を与える可能性がある。
これらの課題に対処するため,我々は,非定常チャネル環境のための非同期なフェデレート学習スケジューリングフレームワークを提案する。
Age of Information (AoI) は、非定常条件下でクライアントの安定性を定量化する。
厳密な収束分析を通じて、AoIと各ラウンドのクライアント参加が学習パフォーマンスにどのように影響するかを考察する。
スケジューリング問題は、マルチアーム・バンディット(MAB)フレームワークでモデル化され、AoIの後悔に対する理論的下限を導出する。
これらの結果に基づき, GLR-CUCB と M-exp3 のアルゴリズムを用いて,両シナリオのスケジューリング手法を開発し,AoI に対する各上限を導出する。
不均衡なクライアント更新に対処するために、限界効用と公平性を含む適応的なアロケーション戦略を導入する。
シミュレーションにより,我々のアルゴリズムはAoIの残念な成長を減らし,フェデレーション学習の収束を加速し,より公平な集約を促進することを示した。
関連論文リスト
- FedRTS: Federated Robust Pruning via Combinatorial Thompson Sampling [12.067872131025231]
フェデレートラーニング(FL)は、データ共有なしで分散クライアント間で協調的なモデルトレーニングを可能にする。
現在の手法では、疎密性を維持しながらスパースモデルトポロジを周期的に調整することで、動的プルーニングを用いて効率を向上させる。
我々は,堅牢なスパースモデルの開発を目的とした新しいフレームワークであるThompson Sampling (FedRTS) によるフェデレートロバスト刈取を提案する。
論文 参考訳(メタデータ) (2025-01-31T13:26:22Z) - Asynchronous Federated Learning: A Scalable Approach for Decentralized Machine Learning [0.9208007322096533]
フェデレートラーニング(FL)は、分散機械学習の強力なパラダイムとして登場し、生データを共有することなく、さまざまなクライアント間で協調的なモデルトレーニングを可能にする。
従来のFLアプローチは、同期クライアントのアップデートに依存しているため、スケーラビリティと効率の制限に直面することが多い。
本稿では、クライアントが独立して非同期にグローバルモデルを更新できる非同期フェデレートラーニング(AFL)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-12-23T17:11:02Z) - Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。
FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。
本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
論文 参考訳(メタデータ) (2024-05-16T14:22:49Z) - Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。
我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
論文 参考訳(メタデータ) (2024-04-04T06:24:11Z) - FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。
IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-03-28T08:07:28Z) - Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification
in the Presence of Data Heterogeneity [60.791736094073]
通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。
本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。
提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
論文 参考訳(メタデータ) (2023-02-19T17:42:35Z) - Scheduling and Aggregation Design for Asynchronous Federated Learning
over Wireless Networks [56.91063444859008]
Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。
FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。
年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
論文 参考訳(メタデータ) (2022-12-14T17:33:01Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳(メタデータ) (2021-08-12T14:18:05Z) - Byzantine-robust Federated Learning through Spatial-temporal Analysis of
Local Model Updates [6.758334200305236]
フェデレートラーニング(FL)は、複数の分散クライアント(モバイルデバイスなど)が、クライアントにローカルにトレーニングデータを保持しながら、協調的に集中的なモデルをトレーニングすることを可能にする。
本稿では,これらの障害と攻撃を空間的・時間的観点から緩和することを提案する。
具体的には、パラメータ空間におけるそれらの幾何学的性質を活用することにより、不正な更新を検出し、排除するためにクラスタリングに基づく手法を用いる。
論文 参考訳(メタデータ) (2021-07-03T18:48:11Z) - Low-Latency Federated Learning over Wireless Channels with Differential
Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。
本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文 参考訳(メタデータ) (2021-06-20T13:51:18Z) - Multi-Armed Bandit Based Client Scheduling for Federated Learning [91.91224642616882]
統合学習(FL)は、通信オーバーヘッドの低減やデータのプライバシの保護など、ユビキタスな特性を特徴とする。
FLの各通信ラウンドでは、クライアントは自身のデータに基づいてローカルモデルを更新し、無線チャネル経由でローカル更新をアップロードする。
本研究は、無線チャネルの状態情報やクライアントの統計的特性を知ることなく、FLにおけるオンラインクライアントスケジューリング(CS)のためのマルチアームバンディットベースのフレームワークを提供する。
論文 参考訳(メタデータ) (2020-07-05T12:32:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。