Fugu-MT 論文翻訳(概要): Model Performance Prediction for Hyperparameter Optimization of Deep Learning Models Using High Performance Computing and Quantum Annealing

論文の概要: Model Performance Prediction for Hyperparameter Optimization of Deep Learning Models Using High Performance Computing and Quantum Annealing

arxiv url: http://arxiv.org/abs/2311.17508v1
Date: Wed, 29 Nov 2023 10:32:40 GMT
ステータス: 処理完了
システム内更新日: 2023-11-30 21:57:36.361464
Title: Model Performance Prediction for Hyperparameter Optimization of Deep Learning Models Using High Performance Computing and Quantum Annealing
Title（参考訳）: ハイパフォーマンスコンピューティングと量子アニーリングを用いたディープラーニングモデルのハイパーパラメータ最適化のためのモデル性能予測
Authors: Juan Pablo Garc\'ia Amboage, Eric Wulff, Maria Girone, Tom\'as F. Pena
Abstract要約: モデル性能予測を早期停止法と組み合わせることで,ディープラーニングモデルのHPOプロセスの高速化が期待できることを示す。我々は,古典的あるいは量子的サポートベクター回帰を性能予測に用いるSwift-Hyperbandと呼ばれる新しいアルゴリズムを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Hyperparameter Optimization (HPO) of Deep Learning-based models tends to be a compute resource intensive process as it usually requires to train the target model with many different hyperparameter configurations. We show that integrating model performance prediction with early stopping methods holds great potential to speed up the HPO process of deep learning models. Moreover, we propose a novel algorithm called Swift-Hyperband that can use either classical or quantum support vector regression for performance prediction and benefit from distributed High Performance Computing environments. This algorithm is tested not only for the Machine-Learned Particle Flow model used in High Energy Physics, but also for a wider range of target models from domains such as computer vision and natural language processing. Swift-Hyperband is shown to find comparable (or better) hyperparameters as well as using less computational resources in all test cases.
Abstract（参考訳）: ディープラーニングベースのモデルのハイパーパラメータ最適化(HPO)は、多くの異なるハイパーパラメータ構成でターゲットモデルをトレーニングする必要があるため、計算リソース集約的なプロセスであることが多い。モデル性能予測を早期停止法と組み合わせることで,ディープラーニングモデルのHPOプロセスの高速化が期待できることを示す。さらに,性能予測に古典的あるいは量子的サポートベクトル回帰を使用できるswift-hyperbandと呼ばれる新しいアルゴリズムを提案し,分散高性能コンピューティング環境の恩恵を受ける。このアルゴリズムは、高エネルギー物理学で使用されるマシンラーニング粒子フローモデルだけでなく、コンピュータビジョンや自然言語処理といった分野から幅広いターゲットモデルに対してもテストされている。 Swift-Hyperbandは、すべてのテストケースで計算リソースが少ないだけでなく、同等(あるいはそれ以上)のハイパーパラメータを見つける。

関連論文リスト

Optimization Hyper-parameter Laws for Large Language Models [56.322914260197734]
ハイパーパラメータとトレーニング結果の関係をキャプチャするフレームワークであるOps-Lawsを提案する。さまざまなモデルサイズとデータスケールにわたる検証は、Opt-Lawsのトレーニング損失を正確に予測する能力を示しています。このアプローチは、全体的なモデル性能を高めながら、計算コストを大幅に削減する。
論文参考訳（メタデータ） (2024-09-07T09:37:19Z)
Streamlining Ocean Dynamics Modeling with Fourier Neural Operators: A Multiobjective Hyperparameter and Architecture Optimization Approach [5.232806761554172]
我々は,海洋モデルに適したニューラルネットワークの開発を効率化するために,DeepHyperの多目的最適化に先進的な探索アルゴリズムを用いる。本研究では, 海洋力学予測におけるFNOの利用を向上する手法を示し, 精度を向上したスケーラブルなソリューションを提供する。
論文参考訳（メタデータ） (2024-04-07T14:29:23Z)
Hyperparameter optimization, quantum-assisted model performance prediction, and benchmarking of AI-based High Energy Physics workloads using HPC [0.0]
本研究は,高性能コンピューティングシステムにおいてHPOプロセスを支援するために,モデル性能予測を利用する可能性について検討する。量子アニールは性能予測器の訓練に用いられ、量子系の現在の限界から生じる問題を克服する手法が提案されている。衝突イベント再構成のためのAIモデルに基づくコンテナ化されたベンチマークの開発から結果が提示される。
論文参考訳（メタデータ） (2023-03-27T09:55:33Z)
Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文参考訳（メタデータ） (2023-03-27T02:34:09Z)
Two-step hyperparameter optimization method: Accelerating hyperparameter search by using a fraction of a training dataset [0.15420205433587747]
計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
論文参考訳（メタデータ） (2023-02-08T02:38:26Z)
Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文参考訳（メタデータ） (2022-05-26T12:51:32Z)
AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文参考訳（メタデータ） (2022-03-15T19:25:01Z)
Real-time Neural-MPC: Deep Learning Model Predictive Control for Quadrotors and Agile Robotic Platforms [59.03426963238452]
モデル予測制御パイプライン内の動的モデルとして,大規模で複雑なニューラルネットワークアーキテクチャを効率的に統合するフレームワークであるReal-time Neural MPCを提案する。ニューラルネットワークを使わずに、最先端のMPCアプローチと比較して、位置追跡誤差を最大82%削減することで、実世界の問題に対する我々のフレームワークの実現可能性を示す。
論文参考訳（メタデータ） (2022-03-15T09:38:15Z)
Hyperparameter optimization of data-driven AI models on HPC systems [0.0]
この作業は、AIとHPCのクロスメソッドを活用するデータ駆動型ユースケースに関するRAISEの取り組みの一環だ。高エネルギー物理におけるマシンラーニング粒子再構成の場合,ASHAアルゴリズムとベイジアン最適化を組み合わせることで,解析されたアルゴリズムから得られた計算資源あたりの性能が最大になることがわかった。
論文参考訳（メタデータ） (2022-03-02T14:02:59Z)
Towards Robust and Automatic Hyper-Parameter Tunning [39.04604349338802]
我々は,新しいHPO法を導入し,畳み込みネットワークの中間層の低ランク因子分解を用いて解析応答面を定義する方法について検討する。我々は,この表面がモデル性能の代理としてどのように振る舞うかを定量化し,オートHyperと呼ぶ信頼領域探索アルゴリズムを用いて解くことができる。
論文参考訳（メタデータ） (2021-11-28T05:27:34Z)
MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文参考訳（メタデータ） (2021-10-05T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。