Fugu-MT 論文翻訳(概要): Scalable and Resource-Efficient Second-Order Federated Learning via Over-the-Air Aggregation

論文の概要: Scalable and Resource-Efficient Second-Order Federated Learning via Over-the-Air Aggregation

arxiv url: http://arxiv.org/abs/2410.07662v2
Date: Wed, 25 Dec 2024 14:13:14 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-30 17:21:46.637324
Title: Scalable and Resource-Efficient Second-Order Federated Learning via Over-the-Air Aggregation
Title（参考訳）: オーバー・ザ・エア・アグリゲーションによるスケーラブルでリソース効率の良い2次フェデレーションラーニング
Authors: Abdulmomen Ghalkha, Chaouki Ben Issaid, Mehdi Bennis,
Abstract要約: スパースヘッセン推定を用いたスケーラブルな第2次フェデレーション学習アルゴリズムを提案する。シミュレーションの結果,他の1次および2次ベースラインと比較して67%以上の通信資源と省エネ効果が示された。
参考スコア（独自算出の注目度）: 34.756818299081736
License:
Abstract: Second-order federated learning (FL) algorithms offer faster convergence than their first-order counterparts by leveraging curvature information. However, they are hindered by high computational and storage costs, particularly for large-scale models. Furthermore, the communication overhead associated with large models and digital transmission exacerbates these challenges, causing communication bottlenecks. In this work, we propose a scalable second-order FL algorithm using a sparse Hessian estimate and leveraging over-the-air aggregation, making it feasible for larger models. Our simulation results demonstrate more than $67\%$ of communication resources and energy savings compared to other first and second-order baselines.
Abstract（参考訳）: 2次連合学習(FL)アルゴリズムは、曲率情報を活用することにより、1次よりも高速な収束を提供する。しかし、それらは特に大規模モデルにおいて、高い計算コストとストレージコストによって妨げられている。さらに、大型モデルやデジタル伝送に伴う通信オーバーヘッドがこれらの課題を悪化させ、通信ボトルネックを引き起こす。本研究では,スパースヘッセン推定を用いた拡張性のある2次FLアルゴリズムを提案する。シミュレーションの結果,他の1次および2次ベースラインと比較して,通信資源と省エネの6,7 %以上を実証した。

関連論文リスト

Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
異常と欠落したデータは、産業応用における厄介な問題を構成する。ディープラーニングによる異常検出が重要な方向として現れている。エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
論文参考訳（メタデータ） (2024-11-06T15:38:31Z)
Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
論文参考訳（メタデータ） (2024-08-26T17:03:14Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文参考訳（メタデータ） (2023-10-04T03:32:39Z)
Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文参考訳（メタデータ） (2023-06-28T18:14:22Z)
Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-03-29T12:39:23Z)
Time-Correlated Sparsification for Efficient Over-the-Air Model Aggregation in Wireless Federated Learning [23.05003652536773]
Federated Edge Learning(FEEL)は、エッジインテリジェンスアプリケーションを駆動するための有望な分散機械学習(ML)フレームワークである。通信効率の高いFEELのためのハイブリッドアグリゲーション(TCS-H)を用いた時間相関スペーシングを提案する。
論文参考訳（メタデータ） (2022-02-17T02:48:07Z)
Resource-constrained Federated Edge Learning with Heterogeneous Data: Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。 FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文参考訳（メタデータ） (2021-10-14T17:35:24Z)
An Adaptive Memory Multi-Batch L-BFGS Algorithm for Neural Network Training [0.951828574518325]
近年,大規模なニューラルネットワークトレーニング問題に対して,BFGSアルゴリズムの限られたメモリバージョンが注目されている。 MB-AMと呼ばれるマルチバッチL-BFGSアルゴリズムを提案し,曲率情報に対する信頼度を徐々に高める。
論文参考訳（メタデータ） (2020-12-14T11:40:41Z)
Communication-Efficient Federated Learning with Compensated Overlap-FedAvg [22.636184975591004]
フェデレーションラーニングは、クラスタ内でデータセットを共有することなく、複数のクライアントの複合データによるモデルトレーニングを実行するために提案される。 Overlap-FedAvgはモデルアップロードおよびダウンロードフェーズとモデルトレーニングフェーズを並列化するフレームワークである。オーバーラップfedavgはさらに階層的計算戦略、データ補償機構、ネステロフ加速勾配(nag)アルゴリズムを用いて開発されている。
論文参考訳（メタデータ） (2020-12-12T02:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。