論文の概要: Adaptive Hybrid Model Pruning in Federated Learning through Loss Exploration
- arxiv url: http://arxiv.org/abs/2405.10271v2
- Date: Tue, 15 Oct 2024 12:06:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 13:58:58.068271
- Title: Adaptive Hybrid Model Pruning in Federated Learning through Loss Exploration
- Title（参考訳）: 損失探索によるフェデレーション学習における適応型ハイブリッド・プルーニング
- Authors: Christian Internò, Elena Raponi, Niki van Stein, Thomas Bäck, Markus Olhofer, Yaochu Jin, Barbara Hammer,
- Abstract要約: 我々は、フェデレートされた損失探索フェーズを利用して、適応型ハイブリッドプルーニングを駆動する革新的アプローチであるAutoFLIPを紹介する。
我々は,AutoFLIPがグローバルコンバージェンスを効率的に加速するだけでなく,従来の手法に比べて精度と堅牢性も向上することを示した。
- 参考スコア（独自算出の注目度）: 17.589308358508863
- License:
- Abstract: The rapid proliferation of smart devices coupled with the advent of 6G networks has profoundly reshaped the domain of collaborative machine learning. Alongside growing privacy-security concerns in sensitive fields, these developments have positioned federated learning (FL) as a pivotal technology for decentralized model training. Despite its vast potential, specially in the age of complex foundation models, FL encounters challenges such as elevated communication costs, computational constraints, and the complexities of non-IID data distributions. We introduce AutoFLIP, an innovative approach that utilizes a federated loss exploration phase to drive adaptive hybrid pruning, operating in a structured and unstructured way. This innovative mechanism automatically identifies and prunes model substructure by distilling knowledge on model gradients behavior across different non-IID client losses topology, thereby optimizing computational efficiency and enhancing model performance on resource constrained scenarios. Extensive experiments on various datasets and FL tasks reveal that AutoFLIP not only efficiently accelerates global convergence, but also achieves superior accuracy and robustness compared to traditional methods. On average, AutoFLIP reduces computational overhead by 48.8% and communication costs by 35.5%, while improving global accuracy. By significantly reducing these overheads, AutoFLIP offer the way for efficient FL deployment in real-world applications for a scalable and broad applicability.
- Abstract（参考訳）: 6Gネットワークの出現に伴うスマートデバイスの急速な普及は、協調機械学習の領域を大きく変えた。
機密分野におけるプライバシー保護の懸念の高まりに加えて、これらの発展は、分散モデルトレーニングの重要な技術として連邦学習(FL)を位置づけている。
複雑な基礎モデルの時代の大きな可能性にもかかわらず、FLは通信コストの増大、計算の制約、非IIDデータ分布の複雑さといった課題に直面している。
我々は、フェデレートされた損失探索フェーズを利用して、構造化された非構造化の方法で、適応型ハイブリッドプルーニングを駆動する革新的アプローチであるAutoFLIPを紹介する。
このイノベーティブなメカニズムは、異なる非IIDクライアント損失トポロジにまたがるモデル勾配の挙動の知識を抽出し、モデルサブ構造を自動的に識別し、プルーネする。
様々なデータセットやFLタスクに対する大規模な実験により、AutoFLIPはグローバル収束を効率的に加速するだけでなく、従来の手法に比べて精度と堅牢性も向上することが明らかになった。
AutoFLIPは計算オーバーヘッドを48.8%削減し、通信コストを35.5%削減した。
これらのオーバーヘッドを大幅に削減することで、AutoFLIPは、スケーラブルで広範な適用性のために、現実世界のアプリケーションに効率的なFLを配置する方法を提供する。
関連論文リスト
- Online Client Scheduling and Resource Allocation for Efficient Federated Edge Learning [9.451084740123198]
フェデレートラーニング(FL)は、エッジデバイスが生データを共有せずに、機械学習モデルを協調的にトレーニングすることを可能にする。
しかし、電力、帯域幅などの制約のあるリソースを持つモバイルエッジネットワーク上にFLをデプロイすることは、高いトレーニングレイテンシと低いモデルの精度に悩まされる。
本稿では,資源制約と不確実性の下で,モバイルエッジネットワーク上でのFLの最適なクライアントスケジューリングとリソース割り当てについて検討する。
論文 参考訳（メタデータ） (2024-09-29T01:56:45Z) - TriplePlay: Enhancing Federated Learning with CLIP for Non-IID Data and Resource Efficiency [0.0]
TriplePlayはCLIPをアダプタとして統合し、さまざまなデータ分散に対するFLの適応性とパフォーマンスを向上させるフレームワークである。
シミュレーションの結果,TriplePlayはGPU使用コストを効果的に削減し,学習プロセスの高速化を実現し,通信オーバーヘッドの低減を図っている。
論文 参考訳（メタデータ） (2024-09-09T06:04:42Z) - Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。
この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
論文 参考訳（メタデータ） (2024-08-26T17:03:14Z) - AEDFL: Efficient Asynchronous Decentralized Federated Learning with
Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。
まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。
次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。
第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文 参考訳（メタデータ） (2023-12-18T05:18:17Z) - Filling the Missing: Exploring Generative AI for Enhanced Federated
Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。
実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
論文 参考訳（メタデータ） (2023-10-21T12:07:04Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-04T09:26:03Z) - HiFlash: Communication-Efficient Hierarchical Federated Learning with
Adaptive Staleness Control and Heterogeneity-aware Client-Edge Association [38.99309610943313]
フェデレートラーニング(FL)は、巨大なクライアント間で共有モデルを協調的に学習することのできる、有望なパラダイムである。
多くの既存のFLシステムでは、クライアントは大規模なデータサイズのモデルパラメータを、ワイドエリアネットワーク(WAN)を介してリモートクラウドサーバと頻繁に交換する必要がある。
我々は、モバイルエッジコンピューティングの利点を享受するHiFLの階層的フェデレーション学習パラダイムを活用している。
論文 参考訳（メタデータ） (2023-01-16T14:39:04Z) - Communication-Efficient Diffusion Strategy for Performance Improvement of Federated Learning with Non-IID Data [10.994226932599403]
非IIDデータを用いたグローバルモデルの性能を最大化するために,機械学習モデル(FedDif)の新たな拡散戦略を提案する。
FedDifはトップ1テストの精度を最大34.89%改善し、通信コストを最大63.49%まで14.6%削減した。
論文 参考訳（メタデータ） (2022-07-15T14:28:41Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳（メタデータ） (2021-08-12T14:18:05Z) - AutoFL: Enabling Heterogeneity-Aware Energy Efficient Federated Learning [7.802192899666384]
フェデレーション学習は、エッジに分散化されたモバイルデバイスのクラスタを配置して、共有機械学習モデルを協調的にトレーニングすることを可能にする。
この分散トレーニングアプローチは、プライバシー漏洩のリスクを軽減するための実用的なソリューションとして実証されている。
本稿では,最先端FL症例の時間対収束性とエネルギー効率を協調的に最適化する。
論文 参考訳（メタデータ） (2021-07-16T23:41:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。