論文の概要: Flexible Parallel Learning in Edge Scenarios: Communication,
Computational and Energy Cost
- arxiv url: http://arxiv.org/abs/2201.07402v1
- Date: Wed, 19 Jan 2022 03:47:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-20 14:53:36.523898
- Title: Flexible Parallel Learning in Edge Scenarios: Communication,
Computational and Energy Cost
- Title(参考訳): エッジシナリオにおける柔軟な並列学習:コミュニケーション,計算,エネルギーコスト
- Authors: Francesco Malandrino and Carla Fabiana Chiasserini
- Abstract要約: FogとIoTベースのシナリオでは、両方のアプローチを組み合わせる必要があることが多い。
フレキシブル並列学習(FPL)のためのフレームワークを提案し,データとモデル並列性を両立させる。
我々の実験は、最先端のディープネットワークアーキテクチャと大規模データセットを用いて行われ、FPLが計算コスト、通信オーバーヘッド、学習性能に優れたトレードオフを実現することを確認した。
- 参考スコア(独自算出の注目度): 20.508003076947848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditionally, distributed machine learning takes the guise of (i) different
nodes training the same model (as in federated learning), or (ii) one model
being split among multiple nodes (as in distributed stochastic gradient
descent). In this work, we highlight how fog- and IoT-based scenarios often
require combining both approaches, and we present a framework for flexible
parallel learning (FPL), achieving both data and model parallelism. Further, we
investigate how different ways of distributing and parallelizing learning tasks
across the participating nodes result in different computation, communication,
and energy costs. Our experiments, carried out using state-of-the-art
deep-network architectures and large-scale datasets, confirm that FPL allows
for an excellent trade-off among computational (hence energy) cost,
communication overhead, and learning performance.
- Abstract(参考訳): 伝統的に、分散機械学習はヒントを取り入れる
(i)同一モデルを訓練する異なるノード(連合学習の場合のように)、又は
(II)複数のノードに分割された1つのモデル(分散確率勾配勾配)。
本稿では,フォグおよびiotベースのシナリオにおいて,それぞれのアプローチを組み合わせる必要がある場合が多いことに注目し,フレキシブル並列学習(fpl)のためのフレームワークを提案する。
さらに,各ノード間での学習タスクの分散と並列化が,計算,通信,エネルギーコストの異なる結果をもたらすかを検討する。
我々の実験は、最先端のディープネットワークアーキテクチャと大規模データセットを用いて行われ、FPLが計算コスト、通信オーバーヘッド、学習性能に優れたトレードオフを実現することを確認した。
関連論文リスト
- An effective and efficient green federated learning method for one-layer
neural networks [0.22499166814992436]
フェデレート・ラーニング(Federated Learning, FL)は、機械学習における最も活発な研究分野の一つである。
本研究では,1回のトレーニングラウンドでグローバルな協調モデルを生成可能な,隠れた層を持たないニューラルネットワークに基づくFL法を提案する。
本手法は同一および非同一の分散シナリオの両方において等しく機能することを示す。
論文 参考訳(メタデータ) (2023-12-22T08:52:08Z) - Asynchronous Multi-Model Dynamic Federated Learning over Wireless
Networks: Theory, Modeling, and Optimization [20.741776617129208]
分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。
まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。
我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
論文 参考訳(メタデータ) (2023-05-22T21:39:38Z) - Adaptive Parameterization of Deep Learning Models for Federated Learning [85.82002651944254]
Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。
トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。
本稿では,フェデレートラーニングのための並列適応器を提案する。
論文 参考訳(メタデータ) (2023-02-06T17:30:33Z) - Decentralized Training of Foundation Models in Heterogeneous
Environments [77.47261769795992]
GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。
ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
論文 参考訳(メタデータ) (2022-06-02T20:19:51Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳(メタデータ) (2022-02-07T05:11:01Z) - FedHe: Heterogeneous Models and Communication-Efficient Federated
Learning [0.0]
フェデレートラーニング(FL)は、エッジデバイスを管理して、ローカルとプライベートのトレーニングデータを維持しながら、モデルを協調的にトレーニングすることができる。
本稿では,異種モデルを学習し,非同期学習プロセスを支援する知識蒸留にインスパイアされた新しいFL法であるFedHeを提案する。
論文 参考訳(メタデータ) (2021-10-19T12:18:37Z) - Parallel Training of Deep Networks with Local Updates [84.30918922367442]
ローカル並列性(Local Parallelism)は、グローバルバックプロパゲーションを切り捨てられたレイヤワイズバックプロパゲーションに置き換えることで、ディープネットワーク内の個々のレイヤのトレーニングを並列化するフレームワークである。
我々は、様々なアーキテクチャセットにわたるビジョンと言語領域の両方で結果を示し、局所的並列性は特に高コンピュートなシステムにおいて有効であることを見出した。
論文 参考訳(メタデータ) (2020-12-07T16:38:45Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳(メタデータ) (2020-12-01T11:46:03Z) - HeteroFL: Computation and Communication Efficient Federated Learning for
Heterogeneous Clients [42.365530133003816]
我々は,全く異なる計算能力と通信能力を備えた異種クライアントに対応するために,HeteroFLという新しいフェデレーション学習フレームワークを提案する。
我々の解は、様々な複雑さを持つ異種局所モデルの訓練を可能にする。
クライアントの能力に応じてデータを適応的に分散することは、計算と通信の効率が良いことを示す。
論文 参考訳(メタデータ) (2020-10-03T02:55:33Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳(メタデータ) (2020-03-25T10:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。