論文の概要: Fed-LAMB: Layerwise and Dimensionwise Locally Adaptive Optimization
Algorithm
- arxiv url: http://arxiv.org/abs/2110.00532v1
- Date: Fri, 1 Oct 2021 16:54:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-04 16:55:07.269671
- Title: Fed-LAMB: Layerwise and Dimensionwise Locally Adaptive Optimization
Algorithm
- Title（参考訳）: fed-lamb:層別および次元別局所適応最適化アルゴリズム
- Authors: Belhal Karimi, Xiaoyun Li, Ping Li
- Abstract要約: FL(Federated Learning)の新たなパラダイムでは、モバイルデバイスなどの大量のクライアントが、それぞれのデータに基づいてトレーニングされている。
低帯域幅のため、分散最適化手法は計算負荷をそれらのクライアントからサーバにシフトさせる必要がある。
我々は階層的なディープニューラルネットワークに基づく新しい学習手法であるFed-LAMBを提案する。
- 参考スコア（独自算出の注目度）: 24.42828071396353
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the emerging paradigm of federated learning (FL), large amount of clients,
such as mobile devices, are used to train possibly high-dimensional models on
their respective data. Due to the low bandwidth of mobile devices,
decentralized optimization methods need to shift the computation burden from
those clients to the computation server while preserving privacy and reasonable
communication cost. In this paper, we focus on the training of deep, as in
multilayered, neural networks, under the FL settings. We present Fed-LAMB, a
novel federated learning method based on a layerwise and dimensionwise updates
of the local models, alleviating the nonconvexity and the multilayered nature
of the optimization task at hand. We provide a thorough finite-time convergence
analysis for Fed-LAMB characterizing how fast its gradient decreases. We
provide experimental results under iid and non-iid settings to corroborate not
only our theory, but also exhibit the faster convergence of our method,
compared to the state-of-the-art.
- Abstract（参考訳）: フェデレーション学習(fl)の新たなパラダイムでは、モバイルデバイスのような大量のクライアントが、それぞれのデータ上で高次元モデルをトレーニングするために使用される。
モバイルデバイスの帯域幅が低いため、分散最適化手法では、プライバシと合理的な通信コストを保ちながら、計算負荷をクライアントから計算サーバに移す必要がある。
本稿では,階層型ニューラルネットワークのように,fl設定下での深層学習に注目する。
本稿では,局所モデルの階層的および次元的更新に基づく新しいフェデレーション学習手法であるFed-LAMBを提案する。
本稿では,Fed-LAMBにおける有限時間収束解析の高速化について述べる。
我々は,我々の理論だけでなく,最先端技術よりも高速な収束性を示すために,iidおよび非id設定による実験結果を提供する。
関連論文リスト
- Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。
本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-24T13:30:03Z) - Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
分散最適化パラダイムとしてフェデレートラーニングが登場した。
本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。
我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
論文 参考訳（メタデータ） (2024-10-07T23:14:05Z) - Heterogeneity-Aware Resource Allocation and Topology Design for Hierarchical Federated Edge Learning [9.900317349372383]
Federated Learning (FL)は、モバイルデバイス上で機械学習モデルをトレーニングするためのプライバシー保護フレームワークを提供する。
従来のFLアルゴリズム、例えばFedAvgはこれらのデバイスに重い通信負荷を課す。
エッジデバイスをエッジサーバに接続し,エッジサーバをピアツーピア(P2P)エッジバックホールを介して相互接続する2層HFELシステムを提案する。
我々の目標は、戦略的資源配分とトポロジ設計により、HFELシステムの訓練効率を向上させることである。
論文 参考訳（メタデータ） (2024-09-29T01:48:04Z) - Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。
この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
論文 参考訳（メタデータ） (2024-08-26T17:03:14Z) - Gradient-Congruity Guided Federated Sparse Training [31.793271982853188]
Federated Learning(FL)は、データプライバシを保持しながら、このプロセスを容易にする分散機械学習技術である。
FLはまた、リソース制約のあるデバイスに関する高い計算コストや通信コストといった課題に直面している。
本研究では,動的スパーストレーニングと勾配一致検査を統合したFedSGC(Gradient-Congruity Guided Federated Sparse Training)を提案する。
論文 参考訳（メタデータ） (2024-05-02T11:29:48Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-04T09:26:03Z) - Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated
Split Learning [56.125720497163684]
無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。
ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
論文 参考訳（メタデータ） (2022-09-02T10:29:56Z) - Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。
本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。
分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文 参考訳（メタデータ） (2020-02-04T23:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。