論文の概要: AirFL-Mem: Improving Communication-Learning Trade-Off by Long-Term
Memory
- arxiv url: http://arxiv.org/abs/2310.16606v2
- Date: Sat, 28 Oct 2023 02:44:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 19:08:51.809786
- Title: AirFL-Mem: Improving Communication-Learning Trade-Off by Long-Term
Memory
- Title(参考訳): AirFL-Mem:長期記憶によるコミュニケーション学習トレードオフの改善
- Authors: Haifeng Wen, Hong Xing, Osvaldo Simeone
- Abstract要約: 本研究では,長期記憶機構を実装することでフェージングを緩和する新しいスキームであるAirFL-Memを提案する。
また, フェードチャネルの存在下での電力制御に使用されるトラクションしきい値に対して, 新たな凸最適化手法を提案する。
- 参考スコア(独自算出の注目度): 37.43361910009644
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Addressing the communication bottleneck inherent in federated learning (FL),
over-the-air FL (AirFL) has emerged as a promising solution, which is, however,
hampered by deep fading conditions. In this paper, we propose AirFL-Mem, a
novel scheme designed to mitigate the impact of deep fading by implementing a
\emph{long-term} memory mechanism. Convergence bounds are provided that account
for long-term memory, as well as for existing AirFL variants with short-term
memory, for general non-convex objectives. The theory demonstrates that
AirFL-Mem exhibits the same convergence rate of federated averaging (FedAvg)
with ideal communication, while the performance of existing schemes is
generally limited by error floors. The theoretical results are also leveraged
to propose a novel convex optimization strategy for the truncation threshold
used for power control in the presence of Rayleigh fading channels.
Experimental results validate the analysis, confirming the advantages of a
long-term memory mechanism for the mitigation of deep fading.
- Abstract(参考訳): フェデレーション学習(fl)に固有のコミュニケーションボトルネックに対処するために、airfl(over-the-air fl)が有望なソリューションとして浮上した。
本稿では,emph{long-term}メモリ機構を実装して,ディープフェージングの影響を軽減する新しいスキームであるairfl-memを提案する。
コンバージェンス境界は、長期記憶、および短期記憶を持つ既存のairfl変種、一般の非凸目的のために提供される。
この理論は、AirFL-Memが理想的なコミュニケーションを伴うフェデレーション平均化(FedAvg)と同じ収束率を示し、既存のスキームの性能は一般的にエラーフロアによって制限されていることを示している。
理論的な結果は、レイリーフェージングチャネルの存在下での電力制御に用いられる遮断しきい値に対する新しい凸最適化戦略を提案するためにも活用されている。
実験結果は,深部フェージングの軽減に長期記憶機構の利点を確認し,解析の妥当性を検証した。
関連論文リスト
- Personalized Federated Learning via ADMM with Moreau Envelope [12.400454951493565]
モローエンベロープ(FLAME)を用いたPFLモデルの学習のための乗算器(ADMM)の交互方向法を提案する。
我々の理論的分析は、偏りのないクライアント選択戦略と偏りのないクライアント選択戦略の両方の下で、グローバル収束を確立する。
実験により、FLAMEは、異種データに基づいて訓練された場合、モデル性能の点で最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-11-12T07:13:37Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳(メタデータ) (2023-10-16T05:49:28Z) - Convergence Analysis of Over-the-Air FL with Compression and Power
Control via Clipping [30.958677272798617]
通常のクリッピングに基づくAirFLの開発に2つの貢献をしている。
まず、一般的なスムーズな学習目的に適用可能なAirFLClipの収束バウンダリを提供する。
第2に,AirFL-Clip-Compを拡張して,Top-kスカラー化と線形圧縮を実現した。
論文 参考訳(メタデータ) (2023-05-18T17:30:27Z) - Spectrum Breathing: Protecting Over-the-Air Federated Learning Against
Interference [101.9031141868695]
モバイルネットワークは、近隣のセルやジャマーからの干渉によって損なわれる可能性がある。
本稿では,帯域幅拡大を伴わない干渉を抑制するために,カスケード段階のプルーニングとスペクトル拡散を行うスペクトルブリーチングを提案する。
呼吸深度によって制御された勾配プルーニングと干渉誘発誤差の間には,性能的トレードオフが認められた。
論文 参考訳(メタデータ) (2023-05-10T07:05:43Z) - Delay-Aware Hierarchical Federated Learning [7.292078085289465]
本稿では,分散機械学習(ML)モデルの学習効率を向上させるために,遅延認識型階層型学習(DFL)を提案する。
グローバル同期の間、クラウドサーバは、凸制御アルゴリズムを使用して、ローカルモデルを時代遅れのグローバルモデルと統合する。
数値評価により、DFLの高速グローバルモデル、収束資源の削減、通信遅延に対する評価において優れた性能を示す。
論文 参考訳(メタデータ) (2023-03-22T09:23:29Z) - Low-Latency Cooperative Spectrum Sensing via Truncated Vertical
Federated Learning [51.51440623636274]
データプライバシを損なうことなく、複数のセカンダリユーザ(SU)にまたがる分散機能を活用できる垂直連合学習(VFL)フレームワークを提案する。
学習プロセスの高速化を目的として,T-VFL(Truncated vertical Federated Learning)アルゴリズムを提案する。
T-VFLの収束性能は、数学的解析によって提供され、シミュレーション結果によって正当化される。
論文 参考訳(メタデータ) (2022-08-07T10:39:27Z) - Unit-Modulus Wireless Federated Learning Via Penalty Alternating
Minimization [64.76619508293966]
Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。
本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-31T08:19:54Z) - Federated Learning in the Sky: Joint Power Allocation and Scheduling
with UAV Swarms [98.78553146823829]
無人航空機(UAV)は様々なタスクを実行するために機械学習(ML)を利用する必要がある。
本稿では,UAVスワム内に分散学習(FL)アルゴリズムを実装するための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-19T14:04:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。