論文の概要: AirFL-Mem: Improving Communication-Learning Trade-Off by Long-Term Memory

• arxiv url: http://arxiv.org/abs/2310.16606v1
• Date: Wed, 25 Oct 2023 12:51:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 14:41:22.450497
• Title: AirFL-Mem: Improving Communication-Learning Trade-Off by Long-Term Memory
• Title（参考訳）: AirFL-Mem:長期記憶によるコミュニケーション学習トレードオフの改善
• Authors: Haifeng Wen, Hong Xing, Osvaldo Simeone
• Abstract要約: 本研究では,長期記憶機構を実装することでフェージングを緩和する新しいスキームであるAirFL-Memを提案する。 また, フェードチャネルの存在下での電力制御に使用されるトラクションしきい値に対して, 新たな凸最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 37.43361910009644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Addressing the communication bottleneck inherent in federated learning (FL), over-the-air FL (AirFL) has emerged as a promising solution, which is, however, hampered by deep fading conditions. In this paper, we propose AirFL-Mem, a novel scheme designed to mitigate the impact of deep fading by implementing a \emph{long-term} memory mechanism. Convergence bounds are provided that account for long-term memory, as well as for existing AirFL variants with short-term memory, for general non-convex objectives. The theory demonstrates that AirFL-Mem exhibits the same convergence rate of federated averaging (FedAvg) with ideal communication, while the performance of existing schemes is generally limited by error floors. The theoretical results are also leveraged to propose a novel convex optimization strategy for the truncation threshold used for power control in the presence of Rayleigh fading channels. Experimental results validate the analysis, confirming the advantages of a long-term memory mechanism for the mitigation of deep fading.
• Abstract（参考訳）: フェデレーション学習(fl)に固有のコミュニケーションボトルネックに対処するために、airfl(over-the-air fl)が有望なソリューションとして浮上した。 本稿では,emph{long-term}メモリ機構を実装して,ディープフェージングの影響を軽減する新しいスキームであるairfl-memを提案する。 コンバージェンス境界は、長期記憶、および短期記憶を持つ既存のairfl変種、一般の非凸目的のために提供される。 この理論は、AirFL-Memが理想的なコミュニケーションを伴うフェデレーション平均化(FedAvg)と同じ収束率を示し、既存のスキームの性能は一般的にエラーフロアによって制限されていることを示している。 理論的な結果は、レイリーフェージングチャネルの存在下での電力制御に用いられる遮断しきい値に対する新しい凸最適化戦略を提案するためにも活用されている。 実験結果は,深部フェージングの軽減に長期記憶機構の利点を確認し,解析の妥当性を検証した。

関連論文リスト

• FuseFL: One-Shot Federated Learning through the Lens of Causality with Progressive Model Fusion [48.90879664138855]
  ワンショットフェデレートラーニング(OFL)は、訓練されたモデルを1回だけ集約することで、FLにおける通信コストを大幅に削減する。 しかし、高度なOFL法の性能は通常のFLよりもはるかに遅れている。 本稿では,FuseFL と呼ばれる,高い性能と低通信・ストレージコストを有する新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-27T09:07:10Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Personalized Federated Learning via ADMM with Moreau Envelope [11.558467367982924]
  モローエンベロープ(FLAME)を用いたPFLモデルの学習のための乗算器(ADMM)の交互方向法を提案する。 我々の理論的分析は、偏りのないクライアント選択戦略と偏りのないクライアント選択戦略の両方の下で、グローバル収束を確立する。 実験により、FLAMEは、異種データに基づいて訓練された場合、モデル性能の点で最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-12T07:13:37Z)
• Convergence Analysis of Over-the-Air FL with Compression and Power Control via Clipping [30.958677272798617]
  通常のクリッピングに基づくAirFLの開発に2つの貢献をしている。 まず、一般的なスムーズな学習目的に適用可能なAirFLClipの収束バウンダリを提供する。 第2に,AirFL-Clip-Compを拡張して,Top-kスカラー化と線形圧縮を実現した。
  論文  参考訳（メタデータ） (2023-05-18T17:30:27Z)
• Spectrum Breathing: Protecting Over-the-Air Federated Learning Against Interference [73.63024765499719]
  モバイルネットワークは、近隣のセルやジャマーからの干渉によって損なわれる可能性がある。 本稿では,帯域幅拡大を伴わない干渉を抑制するために,カスケード段階のプルーニングとスペクトル拡散を行うスペクトルブリーチングを提案する。 呼吸深度によって制御された勾配プルーニングと干渉誘発誤差の間には,性能的トレードオフが認められた。
  論文  参考訳（メタデータ） (2023-05-10T07:05:43Z)
• Delay-Aware Hierarchical Federated Learning [7.292078085289465]
  本稿では,分散機械学習(ML)モデルの学習効率を向上させるために,遅延認識型階層型学習(DFL)を提案する。 グローバル同期の間、クラウドサーバは、凸制御アルゴリズムを使用して、ローカルモデルを時代遅れのグローバルモデルと統合する。 数値評価により、DFLの高速グローバルモデル、収束資源の削減、通信遅延に対する評価において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-03-22T09:23:29Z)
• Low-Latency Cooperative Spectrum Sensing via Truncated Vertical Federated Learning [51.51440623636274]
  データプライバシを損なうことなく、複数のセカンダリユーザ(SU)にまたがる分散機能を活用できる垂直連合学習(VFL)フレームワークを提案する。 学習プロセスの高速化を目的として,T-VFL(Truncated vertical Federated Learning)アルゴリズムを提案する。 T-VFLの収束性能は、数学的解析によって提供され、シミュレーション結果によって正当化される。
  論文  参考訳（メタデータ） (2022-08-07T10:39:27Z)
• Unit-Modulus Wireless Federated Learning Via Penalty Alternating Minimization [64.76619508293966]
  Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。 本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T08:19:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。