論文の概要: Resource-Efficient Federated Learning for Heterogenous and
Resource-Constrained Environments
- arxiv url: http://arxiv.org/abs/2308.13662v1
- Date: Fri, 25 Aug 2023 20:33:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 19:56:55.826360
- Title: Resource-Efficient Federated Learning for Heterogenous and
Resource-Constrained Environments
- Title(参考訳): 異種環境および資源制約環境における資源効率のよいフェデレート学習
- Authors: Humaid Ahmed Desai, Amr Hilal, Hoda Eldardiry
- Abstract要約: Federated Learning(FL)は、機械学習のプライバシ強化サブドメインである。
本稿では,資源制約のあるデバイスにおける計算と通信の課題に対処する新しいアプローチであるRE-FLを提案する。
- 参考スコア(独自算出の注目度): 2.117841684082203
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a privacy-enforcing sub-domain of machine learning
that brings the model to the user's device for training, avoiding the need to
share personal data with a central server. While existing works address data
heterogeneity, they overlook other challenges in FL, such as device
heterogeneity and communication efficiency. In this paper, we propose RE-FL, a
novel approach that tackles computational and communication challenges in
resource-constrained devices. Our variable pruning technique optimizes resource
utilization by adapting pruning to each client's computational capabilities. We
also employ knowledge distillation to reduce bandwidth consumption and
communication rounds. Experimental results on image classification tasks
demonstrate the effectiveness of our approach in resource-constrained
environments, maintaining data privacy and performance while accommodating
heterogeneous model architectures.
- Abstract(参考訳): フェデレーション・ラーニング(federated learning、fl)は、マシンラーニングのプライバシ強化サブドメインで、モデルをトレーニング用のデバイスに持ち込み、パーソナルデータを中央サーバと共有する必要がない。
既存の作業はデータの多様性に対処するが、デバイスの不均一性や通信効率など、flの他の課題を見落としている。
本稿では,資源制約デバイスにおける計算と通信の課題に対処する新しい手法であるRE-FLを提案する。
可変プルーニング手法は,各クライアントの計算能力にプルーニングを適用することにより資源利用を最適化する。
また,帯域消費と通信ラウンドを削減するために,知識蒸留を用いる。
画像分類タスクにおける実験結果は,異種モデルアーキテクチャを適応しながらデータのプライバシとパフォーマンスを維持しながら,リソース制約環境における手法の有効性を示す。
関連論文リスト
- A Comprehensive Survey on Joint Resource Allocation Strategies in Federated Edge Learning [9.806901443019008]
Federated Edge Learning (FEL)は、分散環境でのモデルトレーニングを可能にすると同時に、ユーザデータの物理的分離を利用することで、ユーザのプライバシを確保する。
IoT(Internet of Things)やSmart Earthといった複雑なアプリケーションシナリオの開発により、従来のリソース割り当てスキームは、これらの増大する計算および通信要求を効果的にサポートすることができなくなった。
本稿では,複数の資源需要が増大する中で,計算と通信の多面的課題を体系的に解決する。
論文 参考訳(メタデータ) (2024-10-10T13:02:00Z) - Online Client Scheduling and Resource Allocation for Efficient Federated Edge Learning [9.451084740123198]
フェデレートラーニング(FL)は、エッジデバイスが生データを共有せずに、機械学習モデルを協調的にトレーニングすることを可能にする。
しかし、電力、帯域幅などの制約のあるリソースを持つモバイルエッジネットワーク上にFLをデプロイすることは、高いトレーニングレイテンシと低いモデルの精度に悩まされる。
本稿では,資源制約と不確実性の下で,モバイルエッジネットワーク上でのFLの最適なクライアントスケジューリングとリソース割り当てについて検討する。
論文 参考訳(メタデータ) (2024-09-29T01:56:45Z) - Heterogeneity-Aware Resource Allocation and Topology Design for Hierarchical Federated Edge Learning [9.900317349372383]
Federated Learning (FL)は、モバイルデバイス上で機械学習モデルをトレーニングするためのプライバシー保護フレームワークを提供する。
従来のFLアルゴリズム、例えばFedAvgはこれらのデバイスに重い通信負荷を課す。
エッジデバイスをエッジサーバに接続し,エッジサーバをピアツーピア(P2P)エッジバックホールを介して相互接続する2層HFELシステムを提案する。
我々の目標は、戦略的資源配分とトポロジ設計により、HFELシステムの訓練効率を向上させることである。
論文 参考訳(メタデータ) (2024-09-29T01:48:04Z) - Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth
and Data Heterogeneity [14.313847382199059]
Fed-QSSL (Federated Quantization-based self-supervised learning scheme) はFLシステムの不均一性に対処するために設計された。
Fed-QSSLは、デ量子化、重み付けされたアグリゲーション、再量子化をデプロイし、最終的に、各クライアントのデバイスのデータ分散と特定のインフラストラクチャの両方にパーソナライズされたモデルを作成する。
論文 参考訳(メタデータ) (2023-12-20T19:11:19Z) - Filling the Missing: Exploring Generative AI for Enhanced Federated
Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。
実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
論文 参考訳(メタデータ) (2023-10-21T12:07:04Z) - Adaptive Resource Allocation for Virtualized Base Stations in O-RAN with
Online Learning [60.17407932691429]
基地局(vBS)を備えたオープンラジオアクセスネットワークシステムは、柔軟性の向上、コスト削減、ベンダーの多様性、相互運用性のメリットを提供する。
本研究では,予期せぬ「混み合う」環境下であっても,効率的なスループットとvBSエネルギー消費のバランスをとるオンライン学習アルゴリズムを提案する。
提案手法は, 課題のある環境においても, 平均最適性ギャップをゼロにすることで, サブ線形後悔を実現する。
論文 参考訳(メタデータ) (2023-09-04T17:30:21Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-04T04:18:01Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - ON-DEMAND-FL: A Dynamic and Efficient Multi-Criteria Federated Learning
Client Deployment Scheme [37.099990745974196]
フェデレート学習のためのクライアントデプロイメントアプローチであるOn-Demand-FLを導入する。
私たちはDockerのようなコンテナ技術を使って効率的な環境を構築しています。
遺伝的アルゴリズム(GA)は多目的最適化問題を解決するために用いられる。
論文 参考訳(メタデータ) (2022-11-05T13:41:19Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Federated Learning over Wireless IoT Networks with Optimized
Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。
無線システム上での高速応答および高精度FLスキームの検証が重要である。
提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文 参考訳(メタデータ) (2021-10-22T13:25:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。