論文の概要: Toward efficient resource utilization at edge nodes in federated learning

• arxiv url: http://arxiv.org/abs/2309.10367v2
• Date: Tue, 11 Jun 2024 17:44:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 01:08:37.176504
• Title: Toward efficient resource utilization at edge nodes in federated learning
• Title（参考訳）: 連合学習におけるエッジノードの効率的な資源利用に向けて
• Authors: Sadi Alawadi, Addi Ait-Mlouk, Salman Toor, Andreas Hellander,
• Abstract要約: フェデレートされた学習により、エッジノードは、データを共有することなく、グローバルモデルの構築に協力的に貢献することができる。 計算リソースの制約とネットワーク通信は、ディープラーニングアプリケーションに典型的なより大きなモデルサイズにとって、深刻なボトルネックになる可能性がある。 デバイス上での資源利用を減らすため,転送学習にインスパイアされたFL戦略を提案し,評価する。
• 参考スコア（独自算出の注目度）: 0.6990493129893112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) enables edge nodes to collaboratively contribute to constructing a global model without sharing their data. This is accomplished by devices computing local, private model updates that are then aggregated by a server. However, computational resource constraints and network communication can become a severe bottleneck for larger model sizes typical for deep learning applications. Edge nodes tend to have limited hardware resources (RAM, CPU), and the network bandwidth and reliability at the edge is a concern for scaling federated fleet applications. In this paper, we propose and evaluate a FL strategy inspired by transfer learning in order to reduce resource utilization on devices, as well as the load on the server and network in each global training round. For each local model update, we randomly select layers to train, freezing the remaining part of the model. In doing so, we can reduce both server load and communication costs per round by excluding all untrained layer weights from being transferred to the server. The goal of this study is to empirically explore the potential trade-off between resource utilization on devices and global model convergence under the proposed strategy. We implement the approach using the federated learning framework FEDn. A number of experiments were carried out over different datasets (CIFAR-10, CASA, and IMDB), performing different tasks using different deep-learning model architectures. Our results show that training the model partially can accelerate the training process, efficiently utilizes resources on-device, and reduce the data transmission by around 75% and 53% when we train 25%, and 50% of the model layers, respectively, without harming the resulting global model accuracy.
• Abstract（参考訳）: フェデレートラーニング(FL)は、エッジノードがデータを共有することなく、グローバルモデルの構築に協力的に貢献することを可能にする。 これはローカルでプライベートなモデル更新を計算し、サーバによって集約されるデバイスによって実現される。 しかし、計算資源の制約やネットワーク通信は、ディープラーニングアプリケーションに典型的なより大きなモデルサイズにとって深刻なボトルネックとなる可能性がある。 エッジノードは、限られたハードウェアリソース(RAM、CPU)を持つ傾向があり、エッジにおけるネットワーク帯域幅と信頼性は、フェデレートされたフリートアプリケーションのスケーリングに関する問題である。 本稿では,転送学習にインスパイアされたFL戦略を提案し,各グローバルトレーニングラウンドにおけるサーバとネットワークの負荷を低減させる。 ローカルモデルの更新毎に、トレーニング対象のレイヤをランダムに選択し、モデルの残りの部分を凍結します。 これにより、トレーニングされていないすべてのレイヤ重みをサーバに転送することを排除することで、1ラウンドあたりのサーバ負荷と通信コストを削減できます。 本研究の目的は,デバイス上での資源利用と,提案した戦略の下でのグローバルモデル収束とのトレードオフを実証的に検討することである。 フェデレート学習フレームワークFEDnを用いて,本手法を実装した。 異なるデータセット(CIFAR-10、CASA、IMDB)で多数の実験を行い、異なるディープラーニングモデルアーキテクチャを使用して異なるタスクを実行した。 実験の結果,トレーニングの過程を部分的に加速し,デバイス上で資源を効率的に利用し,25%のトレーニングを行うと約75%,53%のデータ伝送量を削減でき,その結果のグローバルモデル精度を損なうことなく,モデル層全体の50%をトレーニングできることがわかった。

関連論文リスト

• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Towards Federated Learning Under Resource Constraints via Layer-wise Training and Depth Dropout [33.308067180286045]
  クライアントが限られたリソースを持つ場合、フェデレーション学習を大規模モデルにスケールすることは難しい。 我々は、クライアント毎のメモリ、計算、通信コストを同時に削減するために、フェデレート・レイヤワイズ・ラーニングを導入します。 また、トレーニング中に凍結層をランダムにドロップする補完技術であるFederated Depth Dropoutを導入し、リソース使用量をさらに削減する。
  論文  参考訳（メタデータ） (2023-09-11T03:17:45Z)
• Equitable-FL: Federated Learning with Sparsity for Resource-Constrained Environment [10.980548731600116]
  本稿では,資源制約環境下でうまく機能する疎結合型学習法を提案する。 私たちの目標は、ノードの空間、コンピューティング、帯域幅の不足に関わらず、学習を可能にすることです。 畳み込みニューラルネットワークのトレーニング実験の結果, 等価FLの有効性が検証された。
  論文  参考訳（メタデータ） (2023-09-02T08:40:17Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Federated Learning and Meta Learning: Approaches, Applications, and Directions [94.68423258028285]
  本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。 他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
  論文  参考訳（メタデータ） (2022-10-24T10:59:29Z)
• Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
  協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。 実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-26T00:41:57Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Efficient deep learning models for land cover image classification [0.29748898344267777]
  土地利用土地被覆(LULC)画像分類のためのBigEarthNetデータセットを用いて実験を行った。 コンボリューションニューラルネットワーク、マルチ層パーセプトロン、ビジュアルトランスフォーマー、効率的なネットワーク、ワイド残留ネットワーク(WRN)など、さまざまな最先端モデルをベンチマークする。 提案する軽量モデルは、訓練可能なパラメータが桁違いに小さく、平均的なFスコア分類精度が19のLULCクラスすべてに対して4.5%向上し、ベースラインとして使用するResNet50の2倍高速に訓練される。
  論文  参考訳（メタデータ） (2021-11-18T00:03:14Z)
• Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching [28.990067638230254]
  フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。 我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
  論文  参考訳（メタデータ） (2021-09-17T04:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。