Fugu-MT 論文翻訳(概要): Automated Federated Learning via Informed Pruning

論文の概要: Automated Federated Learning via Informed Pruning

arxiv url: http://arxiv.org/abs/2405.10271v1
Date: Thu, 16 May 2024 17:27:41 GMT
ステータス: 処理完了
システム内更新日: 2024-05-17 13:33:15.786775
Title: Automated Federated Learning via Informed Pruning
Title（参考訳）: インフォームド・プルーニングによる自動フェデレーション学習
Authors: Christian Internò, Elena Raponi, Niki van Stein, Thomas Bäck, Markus Olhofer, Yaochu Jin, Barbara Hammer,
Abstract要約: 本稿では,インフォメーションプルーニングを利用した自動フェデレーション学習手法であるAutoFLIPを提案する。ローカルクライアントとグローバルサーバの両方で、Deep Learningモデルを動的に実行し、圧縮する。実験では, 強い非IIDデータを持つシナリオにおいて, 顕著な拡張が見られた。
参考スコア（独自算出の注目度）: 17.589308358508863
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Federated learning (FL) represents a pivotal shift in machine learning (ML) as it enables collaborative training of local ML models coordinated by a central aggregator, all without the need to exchange local data. However, its application on edge devices is hindered by limited computational capabilities and data communication challenges, compounded by the inherent complexity of Deep Learning (DL) models. Model pruning is identified as a key technique for compressing DL models on devices with limited resources. Nonetheless, conventional pruning techniques typically rely on manually crafted heuristics and demand human expertise to achieve a balance between model size, speed, and accuracy, often resulting in sub-optimal solutions. In this study, we introduce an automated federated learning approach utilizing informed pruning, called AutoFLIP, which dynamically prunes and compresses DL models within both the local clients and the global server. It leverages a federated loss exploration phase to investigate model gradient behavior across diverse datasets and losses, providing insights into parameter significance. Our experiments showcase notable enhancements in scenarios with strong non-IID data, underscoring AutoFLIP's capacity to tackle computational constraints and achieve superior global convergence.
Abstract（参考訳）: フェデレートラーニング(FL)は、中央アグリゲータによって調整されたローカルMLモデルの協調トレーニングを可能にするため、ローカルデータを交換する必要がないため、機械学習(ML)における重要なシフトを表している。しかし、エッジデバイスへの応用は、Deep Learning(DL)モデル固有の複雑さによって複雑化され、限られた計算能力とデータ通信の課題によって妨げられている。モデルプルーニングは、限られたリソースを持つデバイス上でDLモデルを圧縮するための重要な手法として識別される。それにもかかわらず、従来のプルーニング技術は手作業によるヒューリスティックに頼り、モデルのサイズ、速度、精度のバランスをとるために人間の専門知識を必要とする。本研究では,ローカルクライアントとグローバルサーバの両方でDLモデルを動的に実行・圧縮するAutoFLIPという,インフォームドプルーニングを利用した自動フェデレーション学習手法を提案する。フェデレートされた損失探索フェーズを活用して、さまざまなデータセットと損失にわたるモデル勾配の挙動を調査し、パラメータの意義に関する洞察を提供する。実験では,強い非IIDデータを持つシナリオにおいて,計算制約に対処し,より優れたグローバルコンバージェンスを実現するためのAutoFLIPの能力を強調した。

関連論文リスト

Online Client Scheduling and Resource Allocation for Efficient Federated Edge Learning [9.451084740123198]
フェデレートラーニング(FL)は、エッジデバイスが生データを共有せずに、機械学習モデルを協調的にトレーニングすることを可能にする。しかし、電力、帯域幅などの制約のあるリソースを持つモバイルエッジネットワーク上にFLをデプロイすることは、高いトレーニングレイテンシと低いモデルの精度に悩まされる。本稿では,資源制約と不確実性の下で,モバイルエッジネットワーク上でのFLの最適なクライアントスケジューリングとリソース割り当てについて検討する。
論文参考訳（メタデータ） (2024-09-29T01:56:45Z)
TriplePlay: Enhancing Federated Learning with CLIP for Non-IID Data and Resource Efficiency [0.0]
TriplePlayはCLIPをアダプタとして統合し、さまざまなデータ分散に対するFLの適応性とパフォーマンスを向上させるフレームワークである。シミュレーションの結果,TriplePlayはGPU使用コストを効果的に削減し,学習プロセスの高速化を実現し,通信オーバーヘッドの低減を図っている。
論文参考訳（メタデータ） (2024-09-09T06:04:42Z)
Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
論文参考訳（メタデータ） (2024-08-26T17:03:14Z)
AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文参考訳（メタデータ） (2023-12-18T05:18:17Z)
Filling the Missing: Exploring Generative AI for Enhanced Federated Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
論文参考訳（メタデータ） (2023-10-21T12:07:04Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文参考訳（メタデータ） (2023-05-04T09:26:03Z)
HiFlash: Communication-Efficient Hierarchical Federated Learning with Adaptive Staleness Control and Heterogeneity-aware Client-Edge Association [38.99309610943313]
フェデレートラーニング(FL)は、巨大なクライアント間で共有モデルを協調的に学習することのできる、有望なパラダイムである。多くの既存のFLシステムでは、クライアントは大規模なデータサイズのモデルパラメータを、ワイドエリアネットワーク(WAN)を介してリモートクラウドサーバと頻繁に交換する必要がある。我々は、モバイルエッジコンピューティングの利点を享受するHiFLの階層的フェデレーション学習パラダイムを活用している。
論文参考訳（メタデータ） (2023-01-16T14:39:04Z)
Communication-Efficient Diffusion Strategy for Performance Improvement of Federated Learning with Non-IID Data [10.994226932599403]
非IIDデータを用いたグローバルモデルの性能を最大化するために,機械学習モデル(FedDif)の新たな拡散戦略を提案する。 FedDifはトップ1テストの精度を最大34.89%改善し、通信コストを最大63.49%まで14.6%削減した。
論文参考訳（メタデータ） (2022-07-15T14:28:41Z)
Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文参考訳（メタデータ） (2021-08-12T14:18:05Z)
AutoFL: Enabling Heterogeneity-Aware Energy Efficient Federated Learning [7.802192899666384]
フェデレーション学習は、エッジに分散化されたモバイルデバイスのクラスタを配置して、共有機械学習モデルを協調的にトレーニングすることを可能にする。この分散トレーニングアプローチは、プライバシー漏洩のリスクを軽減するための実用的なソリューションとして実証されている。本稿では,最先端FL症例の時間対収束性とエネルギー効率を協調的に最適化する。
論文参考訳（メタデータ） (2021-07-16T23:41:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。