論文の概要: HyperTune: Dynamic Hyperparameter Tuning For Efficient Distribution of
DNN Training Over Heterogeneous Systems
- arxiv url: http://arxiv.org/abs/2007.08077v1
- Date: Thu, 16 Jul 2020 02:12:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 23:59:39.416829
- Title: HyperTune: Dynamic Hyperparameter Tuning For Efficient Distribution of
DNN Training Over Heterogeneous Systems
- Title（参考訳）: HyperTune: 異種システム上でのDNNトレーニングの効率的な分散のための動的ハイパーパラメータチューニング
- Authors: Ali HeydariGorji, Siavash Rezaei, Mahdi Torabzadehkashi, Hossein
Bobarshad, Vladimir Alves, Pai H. Chou
- Abstract要約: 本稿では,計算記憶装置(CSD)におけるディープニューラルネットワーク(DNN)の分散トレーニングについて述べる。
CSDベースの分散アーキテクチャは、パフォーマンスのスケーラビリティ、レジリエンス、データプライバシといった面で、フェデレーション学習の利点を取り入れている。
また、既存の分散トレーニングフレームワークの欠点を改善するDNNトレーニングフレームワークであるStannisについても説明している。
- 参考スコア（独自算出の注目度）: 1.4680035572775532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed training is a novel approach to accelerate Deep Neural Networks
(DNN) training, but common training libraries fall short of addressing the
distributed cases with heterogeneous processors or the cases where the
processing nodes get interrupted by other workloads. This paper describes
distributed training of DNN on computational storage devices (CSD), which are
NAND flash-based, high capacity data storage with internal processing engines.
A CSD-based distributed architecture incorporates the advantages of federated
learning in terms of performance scalability, resiliency, and data privacy by
eliminating the unnecessary data movement between the storage device and the
host processor. The paper also describes Stannis, a DNN training framework that
improves on the shortcomings of existing distributed training frameworks by
dynamically tuning the training hyperparameters in heterogeneous systems to
maintain the maximum overall processing speed in term of processed images per
second and energy efficiency. Experimental results on image classification
training benchmarks show up to 3.1x improvement in performance and 2.45x
reduction in energy consumption when using Stannis plus CSD compare to the
generic systems.
- Abstract（参考訳）: 分散トレーニングは、Deep Neural Networks(DNN)トレーニングを加速する新しいアプローチだが、一般的なトレーニングライブラリは、異種プロセッサによる分散ケースや、他のワークロードによって処理ノードが中断されるケースに対処できない。
本稿では、NANDフラッシュベースで内部処理エンジンを備えた高容量データストレージである計算記憶装置(CSD)におけるDNNの分散トレーニングについて述べる。
CSDベースの分散アーキテクチャは、ストレージデバイスとホストプロセッサ間の不要なデータ移動を排除し、パフォーマンスのスケーラビリティ、レジリエンス、データプライバシの観点からのフェデレーション学習の利点を取り入れている。
また、異種システムのトレーニングハイパーパラメータを動的に調整し、毎秒の処理画像とエネルギー効率の両面での処理速度を最大に保つことにより、既存の分散トレーニングフレームワークの欠点を改善するDNNトレーニングフレームワークであるStannisについても述べる。
画像分類訓練ベンチマーク実験の結果、スタニス+csdを用いた場合、性能が最大3.1倍改善され、エネルギー消費量が2.45倍削減された。
関連論文リスト
- FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Simplifying Distributed Neural Network Training on Massive Graphs:
Randomized Partitions Improve Model Aggregation [23.018715954992352]
本稿では、前述のコスト操作に依存しない分散GNNトレーニングのための簡易フレームワークを提案する。
具体的には,トレーニンググラフの局所的に利用可能な部分の局所モデルを非同期に学習する独立したトレーナーを編成する。
最大13億エッジのソーシャルおよびeコマースネットワークの実験において、提案したRandomTMAおよびSuperTMAアプローチは、最速のベースラインと比較して最先端のパフォーマンスと2.31倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2023-05-17T01:49:44Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate
Compression for Split DNN Computing [5.3221129103999125]
分散コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして登場した。
本稿では,レート・精度・複雑さのトレードオフを最適化する上での課題に対処するアプローチを提案する。
我々のアプローチは、トレーニングと推論の両方において非常に軽量であり、非常に効果的であり、高い速度歪曲性能を実現する。
論文 参考訳（メタデータ） (2022-08-24T15:02:11Z) - dPRO: A Generic Profiling and Optimization System for Expediting
Distributed DNN Training [12.413533491501548]
本稿では,分散トレーニングシステムの性能ボトルネックを特定するツールとして,dPROを提案する。
我々は,複数のディープラーニングフレームワーク(PyTorch,MXNet,AllReduce,Serverアーキテクチャ)と代表的通信方式にdPROを実装した。
大規模な実験により、dPROは、ほとんどのケースで5%のエラーで様々な環境での分散トレーニングのパフォーマンスを予測し、ベースラインを最大87.1%上回る最適化戦略を見出した。
論文 参考訳（メタデータ） (2022-05-05T07:15:25Z) - FTPipeHD: A Fault-Tolerant Pipeline-Parallel Distributed Training
Framework for Heterogeneous Edge Devices [21.513786638743234]
FTPipeHDは、異種デバイス間でディープラーニングモデルをトレーニングする新しいフレームワークである。
FTPipeHDは、最高のデバイスの計算能力が最悪のものより10倍大きい場合、アートメソッドの状態よりもトレーニングで6.8倍高速であることが示されている。
論文 参考訳（メタデータ） (2021-10-06T14:00:22Z) - Distribution-sensitive Information Retention for Accurate Binary Neural
Network [49.971345958676196]
本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。
我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。
我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
論文 参考訳（メタデータ） (2021-09-25T10:59:39Z) - SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and
Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。
We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。
SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文 参考訳（メタデータ） (2021-01-04T18:54:07Z) - Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。
DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。
凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
論文 参考訳（メタデータ） (2020-11-17T10:23:28Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳（メタデータ） (2020-03-25T10:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。