論文の概要: Federated Hybrid Model Pruning through Loss Landscape Exploration
- arxiv url: http://arxiv.org/abs/2405.10271v3
- Date: Tue, 20 May 2025 12:41:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-21 14:49:51.049282
- Title: Federated Hybrid Model Pruning through Loss Landscape Exploration
- Title（参考訳）: ロスランドスケープ探査によるハイブリッド・プルーニング
- Authors: Christian Internò, Elena Raponi, Niki van Stein, Thomas Bäck, Markus Olhofer, Yaochu Jin, Barbara Hammer,
- Abstract要約: フェデレートラーニング(FL)はこの変革の中心にある。
適応型ハイブリッドプルーニング手法によりFLを最適化する新しいフレームワークであるAutoFLIPを提案する。
計算オーバーヘッドの48.8%削減,通信コストの35.5%削減,グローバルな精度の向上など,AutoFLIPは定量的なメリットを提供する。
- 参考スコア（独自算出の注目度）: 17.589308358508863
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As the era of connectivity and unprecedented data generation expands, collaborative intelligence emerges as a key driver for machine learning, encouraging global-scale model development. Federated learning (FL) stands at the heart of this transformation, enabling distributed systems to work collectively on complex tasks while respecting strict constraints on privacy and security. Despite its vast potential, specially in the age of complex models, FL encounters challenges such as elevated communication costs, computational constraints, and the heterogeneous data distributions. In this context, we present AutoFLIP, a novel framework that optimizes FL through an adaptive hybrid pruning approach, grounded in a federated loss exploration phase. By jointly analyzing diverse non-IID client loss landscapes, AutoFLIP efficiently identifies model substructures for pruning both at structured and unstructured levels. This targeted optimization fosters a symbiotic intelligence loop, reducing computational burdens and boosting model performance on resource-limited devices for a more inclusive and democratized model usage. Our extensive experiments across multiple datasets and FL tasks show that AutoFLIP delivers quantifiable benefits: a 48.8% reduction in computational overhead, a 35.5% decrease in communication costs, and a notable improvement in global accuracy. By significantly reducing these overheads, AutoFLIP offer the way for efficient FL deployment in real-world applications for a scalable and broad applicability.
- Abstract（参考訳）: 接続性と前例のないデータ生成の時代が拡大するにつれ、コラボレーティブインテリジェンスは機械学習のキードライバーとして現れ、世界規模のモデル開発を促進する。
フェデレーテッド・ラーニング(FL)は、この変革の中心であり、分散システムが複雑なタスクを集約し、プライバシとセキュリティに関する厳格な制約を尊重することを可能にする。
その大きな可能性にもかかわらず、特に複雑なモデルの時代において、FLは通信コストの増大、計算の制約、不均一なデータ分布といった課題に直面している。
本稿では,適応型ハイブリッド・プルーニング手法によりFLを最適化する新しいフレームワークであるAutoFLIPについて述べる。
多様な非IIDクライアントロスランドスケープを共同で解析することにより、AutoFLIPは構造化レベルと非構造化レベルの両方でプルーニングを行うためのモデルサブストラクチャを効率的に同定する。
この最適化により、共生インテリジェンスループが促進され、計算負担が軽減され、リソース制限されたデバイス上でのモデル性能が向上し、より包括的で民主化されたモデルの使用が促進される。
計算オーバーヘッドの48.8%削減、通信コストの35.5%削減、グローバル精度の顕著な改善などである。
これらのオーバーヘッドを大幅に削減することで、AutoFLIPは、スケーラブルで広範な適用性のために、現実世界のアプリケーションに効率的なFLを配置する方法を提供する。
関連論文リスト
- Online Client Scheduling and Resource Allocation for Efficient Federated Edge Learning [9.451084740123198]
フェデレートラーニング(FL)は、エッジデバイスが生データを共有せずに、機械学習モデルを協調的にトレーニングすることを可能にする。
しかし、電力、帯域幅などの制約のあるリソースを持つモバイルエッジネットワーク上にFLをデプロイすることは、高いトレーニングレイテンシと低いモデルの精度に悩まされる。
本稿では,資源制約と不確実性の下で,モバイルエッジネットワーク上でのFLの最適なクライアントスケジューリングとリソース割り当てについて検討する。
論文 参考訳（メタデータ） (2024-09-29T01:56:45Z) - TriplePlay: Enhancing Federated Learning with CLIP for Non-IID Data and Resource Efficiency [0.0]
TriplePlayはCLIPをアダプタとして統合し、さまざまなデータ分散に対するFLの適応性とパフォーマンスを向上させるフレームワークである。
シミュレーションの結果,TriplePlayはGPU使用コストを効果的に削減し,学習プロセスの高速化を実現し,通信オーバーヘッドの低減を図っている。
論文 参考訳（メタデータ） (2024-09-09T06:04:42Z) - Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。
この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
論文 参考訳（メタデータ） (2024-08-26T17:03:14Z) - AEDFL: Efficient Asynchronous Decentralized Federated Learning with
Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。
まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。
次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。
第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文 参考訳（メタデータ） (2023-12-18T05:18:17Z) - Filling the Missing: Exploring Generative AI for Enhanced Federated
Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。
実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
論文 参考訳（メタデータ） (2023-10-21T12:07:04Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-04T09:26:03Z) - HiFlash: Communication-Efficient Hierarchical Federated Learning with
Adaptive Staleness Control and Heterogeneity-aware Client-Edge Association [38.99309610943313]
フェデレートラーニング(FL)は、巨大なクライアント間で共有モデルを協調的に学習することのできる、有望なパラダイムである。
多くの既存のFLシステムでは、クライアントは大規模なデータサイズのモデルパラメータを、ワイドエリアネットワーク(WAN)を介してリモートクラウドサーバと頻繁に交換する必要がある。
我々は、モバイルエッジコンピューティングの利点を享受するHiFLの階層的フェデレーション学習パラダイムを活用している。
論文 参考訳（メタデータ） (2023-01-16T14:39:04Z) - Communication-Efficient Diffusion Strategy for Performance Improvement of Federated Learning with Non-IID Data [10.994226932599403]
非IIDデータを用いたグローバルモデルの性能を最大化するために,機械学習モデル(FedDif)の新たな拡散戦略を提案する。
FedDifはトップ1テストの精度を最大34.89%改善し、通信コストを最大63.49%まで14.6%削減した。
論文 参考訳（メタデータ） (2022-07-15T14:28:41Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳（メタデータ） (2021-08-12T14:18:05Z) - AutoFL: Enabling Heterogeneity-Aware Energy Efficient Federated Learning [7.802192899666384]
フェデレーション学習は、エッジに分散化されたモバイルデバイスのクラスタを配置して、共有機械学習モデルを協調的にトレーニングすることを可能にする。
この分散トレーニングアプローチは、プライバシー漏洩のリスクを軽減するための実用的なソリューションとして実証されている。
本稿では,最先端FL症例の時間対収束性とエネルギー効率を協調的に最適化する。
論文 参考訳（メタデータ） (2021-07-16T23:41:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。