論文の概要: Resource-Adaptive Successive Doubling for Hyperparameter Optimization with Large Datasets on High-Performance Computing Systems

• arxiv url: http://arxiv.org/abs/2412.02729v1
• Date: Tue, 03 Dec 2024 11:25:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:06:51.390797
• Title: Resource-Adaptive Successive Doubling for Hyperparameter Optimization with Large Datasets on High-Performance Computing Systems
• Title（参考訳）: 高性能コンピューティングシステムにおける大規模データセットを用いたハイパーパラメータ最適化のための資源適応型逐次倍数化
• Authors: Marcel Aach, Rakesh Sarma, Helmut Neukirchen, Morris Riedel, Andreas Lintermann,
• Abstract要約: 本稿では,資源適応型逐次二重化アルゴリズム(RASDA)を提案する。 リソース適応型逐次二重化スキームと非同期逐次Halving Algorithm(ASHA)を組み合わせる。 ニューラルネットワーク(NN)のさまざまなタイプに適用され、コンピュータビジョン(CV)、計算流体力学(CFD)、追加製造(AM)ドメインからの大規模なデータセットでトレーニングされる。
• 参考スコア（独自算出の注目度）: 0.4334105740533729
• License:
• Abstract: On High-Performance Computing (HPC) systems, several hyperparameter configurations can be evaluated in parallel to speed up the Hyperparameter Optimization (HPO) process. State-of-the-art HPO methods follow a bandit-based approach and build on top of successive halving, where the final performance of a combination is estimated based on a lower than fully trained fidelity performance metric and more promising combinations are assigned more resources over time. Frequently, the number of epochs is treated as a resource, letting more promising combinations train longer. Another option is to use the number of workers as a resource and directly allocate more workers to more promising configurations via data-parallel training. This article proposes a novel Resource-Adaptive Successive Doubling Algorithm (RASDA), which combines a resource-adaptive successive doubling scheme with the plain Asynchronous Successive Halving Algorithm (ASHA). Scalability of this approach is shown on up to 1,024 Graphics Processing Units (GPUs) on modern HPC systems. It is applied to different types of Neural Networks (NNs) and trained on large datasets from the Computer Vision (CV), Computational Fluid Dynamics (CFD), and Additive Manufacturing (AM) domains, where performing more than one full training run is usually infeasible. Empirical results show that RASDA outperforms ASHA by a factor of up to 1.9 with respect to the runtime. At the same time, the solution quality of final ASHA models is maintained or even surpassed by the implicit batch size scheduling of RASDA. With RASDA, systematic HPO is applied to a terabyte-scale scientific dataset for the first time in the literature, enabling efficient optimization of complex models on massive scientific data. The implementation of RASDA is available on https://github.com/olympiquemarcel/rasda
• Abstract（参考訳）: ハイパフォーマンスコンピューティング(HPC)システムでは、ハイパーパラメータ最適化(HPO)プロセスを高速化するために、複数のハイパーパラメータ構成を並列に評価することができる。 最先端HPO法は, 連続半減期の上に, 連続半減期を踏襲し, 組み合わせの最終的な性能を, 十分に訓練された忠実度性能指標より低く推定し, より有望な組み合わせを時間とともにより多くの資源に割り当てる手法である。 しばしばエポックの数はリソースとして扱われ、より多くの有望な組み合わせがより長く訓練される。 もうひとつの選択肢は、リソースとしてワーカの数を使用し、データ並列トレーニングを通じて、より多くのワーカを直接有望な設定に割り当てることだ。 本稿では,リソース適応型逐次二重化アルゴリズム(RASDA, Resource-Adaptive Successive Halving Algorithm)を提案する。 このアプローチのスケーラビリティは、最新のHPCシステム上での最大1,024のグラフィックス処理ユニット(GPU)に示されている。 ニューラルネットワーク(NN)のさまざまなタイプに適用され、コンピュータビジョン(CV)、計算流体力学(CFD)、追加製造(AM)ドメインからの大規模なデータセットでトレーニングされる。 実証的な結果は、RASDAがASHAを最大1.9倍上回っていることを示している。 同時に、最終ASHAモデルの解品質はRASDAの暗黙のバッチサイズスケジューリングによって維持または超える。 RASDAでは、系統的なHPOをテラバイト規模の科学データセットに初めて適用し、大規模科学データ上で複雑なモデルの効率的な最適化を可能にする。 RASDAの実装はhttps://github.com/olympiquemarcel/rasdaで公開されている。

関連論文リスト

• A Distribution-Aware Flow-Matching for Generating Unstructured Data for Few-Shot Reinforcement Learning [1.0709300917082865]
  数発の強化学習のための合成非構造化データを生成するための分布認識フローマッチング手法を提案する。 我々のアプローチは、オーバーフィッティングやデータ相関など、従来のモデルベースRLにおける重要な課題に対処する。 提案手法は,初期タイムスタンプのフレームレートを30%向上させながら,最大Q値で安定した収束を実現することを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:50:59Z)
• Two-step hyperparameter optimization method: Accelerating hyperparameter search by using a fraction of a training dataset [0.15420205433587747]
  計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。 我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
  論文  参考訳（メタデータ） (2023-02-08T02:38:26Z)
• PASHA: Efficient HPO with Progressive Resource Allocation [5.999777817331316]
  計算リソースが限られている大規模データセットでトレーニングされた機械学習モデルのチューニングには、コストがかかる可能性がある。 本稿では,限られた計算資源を持つ大規模データセット上で学習した機械学習モデルをチューニングすることの課題に対処するアプローチを提案する。 PASHAと呼ばれる我々の手法は、必要に応じてチューニング手順の最大リソースを動的に割り当てることができる。
  論文  参考訳（メタデータ） (2022-07-14T14:06:15Z)
• Hyperparameter optimization of data-driven AI models on HPC systems [0.0]
  この作業は、AIとHPCのクロスメソッドを活用するデータ駆動型ユースケースに関するRAISEの取り組みの一環だ。 高エネルギー物理におけるマシンラーニング粒子再構成の場合,ASHAアルゴリズムとベイジアン最適化を組み合わせることで,解析されたアルゴリズムから得られた計算資源あたりの性能が最大になることがわかった。
  論文  参考訳（メタデータ） (2022-03-02T14:02:59Z)
• Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
  本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。 最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。 提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
  論文  参考訳（メタデータ） (2021-11-26T18:44:59Z)
• DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture [81.82173855071312]
  本稿では,AutoMLコンポーネントを統合したエンドツーエンドソリューションを提案する。 Dhaは、様々なデータセット、特にセルベースの検索空間を持つImageNetの77.4%の精度で、最先端(SOTA)結果を達成する。
  論文  参考訳（メタデータ） (2021-09-13T08:12:50Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• Practical and sample efficient zero-shot HPO [8.41866793161234]
  利用可能なアプローチの概要と、この問題に対処する2つの新しいテクニックを紹介します。 1つは、サロゲートモデルに基づいて、クエリのためのデータセットと設定のペアを適応的に選択する。 2つ目は、サロゲートモデルの検出、チューニング、テストが問題となる設定のためのもので、HyperBandとサブモジュラー最適化を組み合わせた多要素技術である。
  論文  参考訳（メタデータ） (2020-07-27T08:56:55Z)
• Recent Developments Combining Ensemble Smoother and Deep Generative Networks for Facies History Matching [58.720142291102135]
  本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。 本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
  論文  参考訳（メタデータ） (2020-05-08T21:32:42Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
  機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。 本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
  論文  参考訳（メタデータ） (2020-03-10T05:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。