論文の概要: FlexTrain: A Dynamic Training Framework for Heterogeneous Devices
Environments
- arxiv url: http://arxiv.org/abs/2310.20457v1
- Date: Tue, 31 Oct 2023 13:51:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 14:54:20.731740
- Title: FlexTrain: A Dynamic Training Framework for Heterogeneous Devices
Environments
- Title(参考訳): FlexTrain: 異種デバイス環境のための動的トレーニングフレームワーク
- Authors: Mert Unsal, Ali Maatouk, Antonio De Domenico, Nicola Piovesan, Fadhel
Ayed
- Abstract要約: FlexTrainは、トレーニングフェーズ中にさまざまなデバイスで利用可能な多様なストレージと計算リソースに対応するフレームワークである。
CIFAR-100データセットにおけるFlexTrainの有効性を示す。
- 参考スコア(独自算出の注目度): 12.165263783903216
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As deep learning models become increasingly large, they pose significant
challenges in heterogeneous devices environments. The size of deep learning
models makes it difficult to deploy them on low-power or resource-constrained
devices, leading to long inference times and high energy consumption. To
address these challenges, we propose FlexTrain, a framework that accommodates
the diverse storage and computational resources available on different devices
during the training phase. FlexTrain enables efficient deployment of deep
learning models, while respecting device constraints, minimizing communication
costs, and ensuring seamless integration with diverse devices. We demonstrate
the effectiveness of FlexTrain on the CIFAR-100 dataset, where a single global
model trained with FlexTrain can be easily deployed on heterogeneous devices,
saving training time and energy consumption. We also extend FlexTrain to the
federated learning setting, showing that our approach outperforms standard
federated learning benchmarks on both CIFAR-10 and CIFAR-100 datasets.
- Abstract(参考訳): ディープラーニングモデルが大きくなるにつれて、異種デバイス環境において大きな課題が生じる。
ディープラーニングモデルのサイズは、低消費電力またはリソース制約のデバイスにそれらをデプロイすることを難しくし、長い推論時間と高エネルギー消費をもたらす。
これらの課題に対処するため、トレーニング期間中に異なるデバイスで利用可能な多様なストレージと計算資源に対応するフレームワークFlexTrainを提案する。
FlexTrainは、デバイス制約を尊重し、通信コストを最小化し、多様なデバイスとのシームレスな統合を確保しながら、ディープラーニングモデルの効率的なデプロイを可能にする。
flextrainをトレーニングした単一のグローバルモデルをヘテロジニアスデバイスに簡単にデプロイでき、トレーニング時間とエネルギー消費を節約できるcifar-100データセット上でflextrainの有効性を実証する。
また、FlexTrainをフェデレーション学習環境に拡張し、CIFAR-10およびCIFAR-100データセットの標準フェデレーション学習ベンチマークよりも優れていることを示す。
関連論文リスト
- Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳(メタデータ) (2023-12-23T07:47:07Z) - Speed Up Federated Learning in Heterogeneous Environment: A Dynamic
Tiering Approach [5.504000607257414]
フェデレートラーニング(FL)は、トレーニングデータを分散化してプライベートにしながら、モデルを協調的にトレーニングすることを可能にする。
FLを用いたモデルのトレーニングにおける重要な障害の1つは、様々なタスクサイズだけでなく、不均一な計算と通信能力を持つデバイスのリソース制約である。
本稿では、動的タイリングに基づくフェデレート学習(DTFL)システムを提案する。このシステムでは、遅いクライアントがモデルの一部を動的にサーバにオフロードし、リソース制約を緩和し、トレーニングを高速化する。
論文 参考訳(メタデータ) (2023-12-09T19:09:19Z) - FlexMoE: Scaling Large-scale Sparse Pre-trained Model Training via
Dynamic Device Placement [19.639936387834677]
Mixture-of-Experts (MoEs) は、様々なダウンストリームタスクにおいて、優れた事前トレーニングのスケーラビリティを示している。
MoEはデータライフサイクルにおける新たなデータ分析パラダイムになりつつある。
本稿では,動的データフローによる非効率性に対して系統的かつ透過的に対処する新しいDNNトレーニングフレームワークFlexMoEを提案する。
論文 参考訳(メタデータ) (2023-04-08T07:34:26Z) - Federated Learning for Inference at Anytime and Anywhere [37.75955497140009]
本稿では,フェデレートラーニング(FL)における事前学習型トランスフォーマーモデルの活用の課題と可能性について考察する。
本稿では,各トランスブロックに新しいアテンションベースのアダプタモジュールを注入することで,事前学習したモデルの適応を効果的に行うことを提案する。
CIFAR-100、FEMNIST、SpeechCommandsv2などの標準FLベンチマークの実験は、この単純なフレームワークが高速で正確なFLを提供することを示した。
論文 参考訳(メタデータ) (2022-12-08T05:32:33Z) - FedDCT: Federated Learning of Large Convolutional Neural Networks on
Resource Constrained Devices using Divide and Collaborative Training [13.072061144206097]
我々は,リソース制限エッジデバイス上で大規模かつ高性能なCNNを使用できる分散学習パラダイムであるFedDCTを紹介する。
我々は、CIFAR-10、CIFAR-100、および2つの実世界の医療データセットHAM10000、VAIPEを含む標準化されたデータセットの実験を経験的に実施する。
他の既存手法と比較して、FedDCTは精度が高く、通信ラウンドの回数を大幅に削減する。
論文 参考訳(メタデータ) (2022-11-20T11:11:56Z) - ZeroFL: Efficient On-Device Training for Federated Learning with Local
Sparsity [15.908499928588297]
フェデレートラーニング(FL)では、ノードは従来のサーバグレードのハードウェアよりも桁違いに制約を受ける。
我々は、デバイス上でのトレーニングを加速するために、高度にスパースな操作に依存するZeroFLを提案する。
論文 参考訳(メタデータ) (2022-08-04T07:37:07Z) - FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for
Resource and Data Heterogeneity [56.82825745165945]
フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。
本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。
提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
論文 参考訳(メタデータ) (2022-06-21T17:23:06Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳(メタデータ) (2022-03-18T04:58:34Z) - Federated Dynamic Sparse Training: Computing Less, Communicating Less,
Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。
我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。
FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文 参考訳(メタデータ) (2021-12-18T02:26:38Z) - Efficient Device Scheduling with Multi-Job Federated Learning [64.21733164243781]
本稿では,複数のジョブの並列学習プロセスを実現するための,新しいマルチジョブフェデレーション学習フレームワークを提案する。
コストを最小化しつつ、複数のジョブに対してデバイスをスケジュールする強化学習法とベイズ最適化法を提案する。
提案手法は,トレーニング時間(最大8.67倍高速)と精度(最大44.6%高)において,ベースラインアプローチよりも有意に優れていた。
論文 参考訳(メタデータ) (2021-12-11T08:05:11Z) - To Talk or to Work: Flexible Communication Compression for Energy
Efficient Federated Learning over Heterogeneous Mobile Edge Devices [78.38046945665538]
巨大なモバイルエッジデバイス上でのフェデレーション学習(FL)は、多数のインテリジェントなモバイルアプリケーションのための新たな地平を開く。
FLは、定期的なグローバル同期と継続的なローカルトレーニングにより、参加するデバイスに膨大な通信と計算負荷を課す。
フレキシブルな通信圧縮を可能にする収束保証FLアルゴリズムを開発。
論文 参考訳(メタデータ) (2020-12-22T02:54:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。