論文の概要: Hyperparameter Optimization with Neural Network Pruning

• arxiv url: http://arxiv.org/abs/2205.08695v1
• Date: Wed, 18 May 2022 02:51:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-19 12:48:38.135540
• Title: Hyperparameter Optimization with Neural Network Pruning
• Title（参考訳）: ニューラルネットワークプルーニングによるハイパーパラメータ最適化
• Authors: Kangil Lee, Junho Yim
• Abstract要約: ハイパーパラメータ最適化に用いるニューラルネットワーク(N_B)のプロキシモデルを提案する。 提案されたフレームワークは、最大37%の時間を削減することができる。
• 参考スコア（独自算出の注目度）: 6.193231258199234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since the deep learning model is highly dependent on hyperparameters, hyperparameter optimization is essential in developing deep learning model-based applications, even if it takes a long time. As service development using deep learning models has gradually become competitive, many developers highly demand rapid hyperparameter optimization algorithms. In order to keep pace with the needs of faster hyperparameter optimization algorithms, researchers are focusing on improving the speed of hyperparameter optimization algorithm. However, the huge time consumption of hyperparameter optimization due to the high computational cost of the deep learning model itself has not been dealt with in-depth. Like using surrogate model in Bayesian optimization, to solve this problem, it is necessary to consider proxy model for a neural network (N_B) to be used for hyperparameter optimization. Inspired by the main goal of neural network pruning, i.e., high computational cost reduction and performance preservation, we presumed that the neural network (N_P) obtained through neural network pruning would be a good proxy model of N_B. In order to verify our idea, we performed extensive experiments by using CIFAR10, CFIAR100, and TinyImageNet datasets and three generally-used neural networks and three representative hyperparameter optmization methods. Through these experiments, we verified that N_P can be a good proxy model of N_B for rapid hyperparameter optimization. The proposed hyperparameter optimization framework can reduce the amount of time up to 37%.
• Abstract（参考訳）: ディープラーニングモデルはハイパーパラメータに強く依存するため、たとえ長い時間を要するとしても、ディープラーニングモデルベースのアプリケーション開発にはハイパーパラメータ最適化が不可欠である。 ディープラーニングモデルを用いたサービス開発が徐々に競争力が高まっているため、多くの開発者は高速なハイパーパラメータ最適化アルゴリズムを強く要求している。 ハイパーパラメータ最適化アルゴリズムの高速化を実現するために、研究者はハイパーパラメータ最適化アルゴリズムの高速化に注力している。 しかし、ディープラーニングモデル自体の計算コストが高いため、ハイパーパラメータ最適化の膨大な時間消費は、深く処理されていない。 ベイズ最適化におけるサロゲートモデルの使用と同様に、この問題を解決するためには、ハイパーパラメータ最適化に使用するニューラルネットワーク(n_b)のプロキシモデルを検討する必要がある。 ニューラルネットワークプルーニングの主目的,すなわち高い計算コスト削減と性能維持に着想を得て,ニューラルネットワークプルーニングによって得られるニューラルネットワーク(N_P)がN_Bの優れたプロキシモデルになると仮定した。 CIFAR10, CFIAR100, TinyImageNetデータセットと3つの一般用ニューラルネットワークと3つの代表的ハイパーパラメータ最適化手法を用いて, 広範に実験を行った。 これらの実験により,N_Pが高速ハイパーパラメータ最適化のためのN_Bの優れたプロキシモデルであることが確認された。 提案されたハイパーパラメータ最適化フレームワークは、最大37%の時間を削減できる。

関連論文リスト

• Streamlining Ocean Dynamics Modeling with Fourier Neural Operators: A Multiobjective Hyperparameter and Architecture Optimization Approach [5.232806761554172]
  我々は,海洋モデルに適したニューラルネットワークの開発を効率化するために,DeepHyperの多目的最適化に先進的な探索アルゴリズムを用いる。 本研究では, 海洋力学予測におけるFNOの利用を向上する手法を示し, 精度を向上したスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2024-04-07T14:29:23Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Improving Multi-fidelity Optimization with a Recurring Learning Rate for Hyperparameter Tuning [7.591442522626255]
  再帰学習率(MORL)を考慮した多相最適化を提案する。 MORLはCNNの最適化プロセスを多要素最適化に組み込んでいる。 スロースタートの問題を緩和し、より正確な低忠実度近似を実現する。
  論文  参考訳（メタデータ） (2022-09-26T08:16:31Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians [5.33024001730262]
  自己チューニングネットワーク(STN)は,最近,内部目標の最適化を補正する能力によって,注目を集めている。 トレーニングを安定化する改良されたハイパーネットワークアーキテクチャであるDelta$-STNを提案する。
  論文  参考訳（メタデータ） (2020-10-26T12:12:23Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization [48.5614138038673]
  本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。 また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。 実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
  論文  参考訳（メタデータ） (2020-07-11T03:15:21Z)
• Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling [34.67740033646052]
  ベイジアン最適化のステート・オブ・ザ・アートランタイムと,さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善した。 評価の複雑さと品質をトレードオフするISのパラメータ化を学習することで、ベイジアン最適化のステート・オブ・ザ・アートランタイムと、さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善します。
  論文  参考訳（メタデータ） (2020-02-23T15:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。