論文の概要: DISTREAL: Distributed Resource-Aware Learning in Heterogeneous Systems
- arxiv url: http://arxiv.org/abs/2112.08761v1
- Date: Thu, 16 Dec 2021 10:15:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-17 15:45:15.651183
- Title: DISTREAL: Distributed Resource-Aware Learning in Heterogeneous Systems
- Title(参考訳): DISTREAL:異種システムにおける分散リソース認識学習
- Authors: Martin Rapp, Ramin Khalili, Kilian Pfeiffer, J\"org Henkel
- Abstract要約: 計算資源の不均一性,制限,時間変化のあるデバイス上でのニューラルネットワーク(NN)の分散トレーニングの問題について検討する。
本稿では,適応型,リソース対応,オンデバイス学習機構であるDISTREALを提案する。
- 参考スコア(独自算出の注目度): 2.1506382989223782
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of distributed training of neural networks (NNs) on
devices with heterogeneous, limited, and time-varying availability of
computational resources. We present an adaptive, resource-aware, on-device
learning mechanism, DISTREAL, which is able to fully and efficiently utilize
the available resources on devices in a distributed manner, increasing the
convergence speed. This is achieved with a dropout mechanism that dynamically
adjusts the computational complexity of training an NN by randomly dropping
filters of convolutional layers of the model. Our main contribution is the
introduction of a design space exploration (DSE) technique, which finds
Pareto-optimal per-layer dropout vectors with respect to resource requirements
and convergence speed of the training. Applying this technique, each device is
able to dynamically select the dropout vector that fits its available resource
without requiring any assistance from the server. We implement our solution in
a federated learning (FL) system, where the availability of computational
resources varies both between devices and over time, and show through extensive
evaluation that we are able to significantly increase the convergence speed
over the state of the art without compromising on the final accuracy.
- Abstract(参考訳): 計算資源の不均一性,制限,時間変化のあるデバイス上でのニューラルネットワーク(NN)の分散トレーニングの問題について検討する。
本稿では,デバイス上で利用可能なリソースを分散的に効果的に活用し,収束速度を向上できる適応型,リソース対応型,オンデバイス学習機構であるdistrealを提案する。
これは、モデルの畳み込み層のフィルタをランダムに落として、nnのトレーニングの計算複雑性を動的に調整するドロップアウト機構によって達成される。
私たちの主な貢献は、リソース要求とトレーニングの収束速度に関してpareto-optimal per-layer dropout vectorを見つけるデザインスペース探索(dse)技術の導入です。
このテクニックを適用することで、各デバイスは、サーバからの助けを必要とせずに、利用可能なリソースに適合するドロップアウトベクトルを動的に選択できる。
我々は、デバイスと時間の両方で計算資源の可用性が変化するフェデレートラーニング(FL)システムにソリューションを実装し、最終的な精度を損なうことなく、最先端のコンバージェンス速度を大幅に向上できることを示す。
関連論文リスト
- Enabling Resource-efficient AIoT System with Cross-level Optimization: A
survey [20.360136850102833]
この調査は、より自由なリソースパフォーマンストレードオフのために、より広い最適化スペースを提供することを目的としています。
様々なレベルに散らばる問題やテクニックを統合することで、読者のつながりを理解し、さらなる議論を促すことを目指している。
論文 参考訳(メタデータ) (2023-09-27T08:04:24Z) - Adaptive ResNet Architecture for Distributed Inference in
Resource-Constrained IoT Systems [7.26437825413781]
本稿では,モデルの性能に大きな影響を及ぼすことなく,ResNetの接続を落とせることを示す実証的研究について述べる。
実験により、適応型ResNetアーキテクチャは、分散全体にわたって共有データ、エネルギー消費、遅延を低減できることを示した。
論文 参考訳(メタデータ) (2023-07-21T11:07:21Z) - Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。
FEIシステムは異種通信と計算資源分布を示す。
本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-01-26T08:13:22Z) - Multi-Resource Allocation for On-Device Distributed Federated Learning
Systems [79.02994855744848]
本研究は,デバイス上の分散フェデレーション学習(FL)システムにおいて,レイテンシとエネルギー消費の重み付け和を最小化する分散マルチリソース割り当て方式を提案する。
システム内の各モバイルデバイスは、指定された領域内でモデルトレーニングプロセスを実行し、それぞれパラメータの導出とアップロードを行うための計算と通信資源を割り当てる。
論文 参考訳(メタデータ) (2022-11-01T14:16:05Z) - Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。
過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。
データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
論文 参考訳(メタデータ) (2021-12-07T20:15:39Z) - Computational Intelligence and Deep Learning for Next-Generation
Edge-Enabled Industrial IoT [51.68933585002123]
エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。
本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。
特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
論文 参考訳(メタデータ) (2021-10-28T08:14:57Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳(メタデータ) (2021-10-08T17:03:34Z) - A Heuristically Assisted Deep Reinforcement Learning Approach for
Network Slice Placement [0.7885276250519428]
本稿では,Deep Reinforcement Learning(DRL)に基づくハイブリッド配置ソリューションと,Power of Two Choices原則に基づく専用最適化を提案する。
提案したHuristically-Assisted DRL (HA-DRL) は,他の最先端手法と比較して学習プロセスの高速化と資源利用の促進を可能にする。
論文 参考訳(メタデータ) (2021-05-14T10:04:17Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-26T14:37:51Z) - Distributed Learning on Heterogeneous Resource-Constrained Devices [3.6187468775839373]
我々は、ローエンドからハイエンドまで多種多様なデバイスからなる分散システムを考える。
このような異種システムにおける分散学習を実現するための最初のアプローチを提案する。
このアプローチを適用すると、各デバイスは、その能力に適合するトポロジを備えたニューラルネットワーク(NN)を使用するが、これらのNNの一部は、同じトポロジを共有して、それらのパラメータを共同で学習することができる。
論文 参考訳(メタデータ) (2020-06-09T16:58:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。