論文の概要: Understanding and Optimizing Packed Neural Network Training for
Hyper-Parameter Tuning
- arxiv url: http://arxiv.org/abs/2002.02885v4
- Date: Sun, 25 Apr 2021 02:31:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 04:01:51.489384
- Title: Understanding and Optimizing Packed Neural Network Training for
Hyper-Parameter Tuning
- Title(参考訳): ハイパーパラメータチューニングのためのニューラルネットワークトレーニングの理解と最適化
- Authors: Rui Liu, Sanjay Krishnan, Aaron J. Elmore, Michael J. Franklin
- Abstract要約: 我々は、単一のGPU上で複数のニューラルネットワークモデルを共同でトレーニングするための、パックと呼ばれるプリミティブを提案する。
単一のトレーニングステップにおいて、パックはアンパックされたセットアップよりも40%パフォーマンスの改善をもたらします。
パックを意識したHyperbandは、オリジナルのHyperbandよりも最大2.7倍高速で、メモリサイズが増加し、その後のモデルの密度が増大するにつれて改善されている。
- 参考スコア(独自算出の注目度): 20.228592812608312
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As neural networks are increasingly employed in machine learning practice,
how to efficiently share limited training resources among a diverse set of
model training tasks becomes a crucial issue. To achieve better utilization of
the shared resources, we explore the idea of jointly training multiple neural
network models on a single GPU in this paper. We realize this idea by proposing
a primitive, called pack. We further present a comprehensive empirical study of
pack and end-to-end experiments that suggest significant improvements for
hyperparameter tuning. The results suggest: (1) packing two models can bring up
to 40% performance improvement over unpacked setups for a single training step
and the improvement increases when packing more models; (2) the benefit of the
pack primitive largely depends on a number of factors including memory
capacity, chip architecture, neural network structure, and batch size; (3)
there exists a trade-off between packing and unpacking when training multiple
neural network models on limited resources; (4) a pack-aware Hyperband is up to
2.7x faster than the original Hyperband, with this improvement growing as
memory size increases and subsequently the density of models packed.
- Abstract(参考訳): ニューラルネットワークが機械学習の実践にますます採用されているため、さまざまなモデルのトレーニングタスクセット間で、限られたトレーニングリソースを効率的に共有する方法が重要な問題となっている。
本稿では,共有リソースの利用性を向上させるために,複数のニューラルネットワークモデルを単一のgpu上で共同でトレーニングする手法を提案する。
このアイデアはpackと呼ばれるプリミティブを提案して実現します。
さらに,ハイパーパラメータチューニングの大幅な改善を示唆する,パックおよびエンド・ツー・エンド実験の包括的実証研究を行った。
The results suggest: (1) packing two models can bring up to 40% performance improvement over unpacked setups for a single training step and the improvement increases when packing more models; (2) the benefit of the pack primitive largely depends on a number of factors including memory capacity, chip architecture, neural network structure, and batch size; (3) there exists a trade-off between packing and unpacking when training multiple neural network models on limited resources; (4) a pack-aware Hyperband is up to 2.7x faster than the original Hyperband, with this improvement growing as memory size increases and subsequently the density of models packed.
関連論文リスト
- When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - Learning Compact Neural Networks with Deep Overparameterised Multitask
Learning [0.0]
パラメータ化ニューラルネットワーク設計よりも単純で効率的で効果的なマルチタスク学習を提案する。
2つの挑戦的マルチタスクデータセット(NYUv2とCOCO)の実験により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2023-08-25T10:51:02Z) - Efficient Multimodal Fusion via Interactive Prompting [62.08292938484994]
大規模事前学習は、コンピュータビジョンや自然言語処理のような一助的な分野を新しい時代にもたらした。
本稿では,一様事前学習型変圧器の融合に適した効率的かつ柔軟な多モード融合法PMFを提案する。
論文 参考訳(メタデータ) (2023-04-13T07:31:51Z) - Bayesian Generational Population-Based Training [35.70338636901159]
Population-Based Training (PBT)は、いくつかの大規模な設定で素晴らしいパフォーマンスを実現している。
PBTスタイルの手法に2つの新しい革新を導入する。
これらのイノベーションが大きなパフォーマンス向上につながっていることを示しています。
論文 参考訳(メタデータ) (2022-07-19T16:57:38Z) - Differentiable Network Pruning for Microcontrollers [14.864940447206871]
本稿では,畳み込みニューラルネットワークのための可変構造型ネットワークプルーニング法を提案する。
モデル固有のリソース使用量とパラメータ重要度フィードバックを統合し、高度に圧縮されかつ正確な分類モデルを得る。
論文 参考訳(メタデータ) (2021-10-15T20:26:15Z) - M6-10T: A Sharing-Delinking Paradigm for Efficient Multi-Trillion
Parameter Pretraining [55.16088793437898]
極端なモデルのトレーニングには大量の計算とメモリフットプリントが必要です。
本稿では,高メモリフットプリント要求大モデルのための簡単なトレーニング戦略"Pseudo-to-Real"を提案する。
論文 参考訳(メタデータ) (2021-10-08T04:24:51Z) - Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。
低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
論文 参考訳(メタデータ) (2021-06-16T15:57:51Z) - Dynamic Sparse Training for Deep Reinforcement Learning [36.66889208433228]
我々は,ニューラルネットワークをスクラッチから切り離した深層強化学習エージェントを動的に訓練する試みを初めて提案する。
私たちのアプローチは、既存の深層強化学習アルゴリズムに簡単に統合できます。
我々は,オープンAI体育連続制御タスクに対するアプローチを評価した。
論文 参考訳(メタデータ) (2021-06-08T09:57:20Z) - All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。
具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。
知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
論文 参考訳(メタデータ) (2021-03-02T03:09:03Z) - Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文 参考訳(メタデータ) (2020-03-10T05:52:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。