論文の概要: Hyperparameter optimization of data-driven AI models on HPC systems
- arxiv url: http://arxiv.org/abs/2203.01112v1
- Date: Wed, 2 Mar 2022 14:02:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-03 20:44:50.313077
- Title: Hyperparameter optimization of data-driven AI models on HPC systems
- Title（参考訳）: HPCシステムにおけるデータ駆動型AIモデルのハイパーパラメータ最適化
- Authors: Eric Wulff and Maria Girone and Joosep Pata
- Abstract要約: この作業は、AIとHPCのクロスメソッドを活用するデータ駆動型ユースケースに関するRAISEの取り組みの一環だ。
高エネルギー物理におけるマシンラーニング粒子再構成の場合,ASHAアルゴリズムとベイジアン最適化を組み合わせることで,解析されたアルゴリズムから得られた計算資源あたりの性能が最大になることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the European Center of Excellence in Exascale computing "Research on AI-
and Simulation-Based Engineering at Exascale" (CoE RAISE), researchers develop
novel, scalable AI technologies towards Exascale. This work exercises High
Performance Computing resources to perform large-scale hyperparameter
optimization using distributed training on multiple compute nodes. This is part
of RAISE's work on data-driven use cases which leverages AI- and HPC
cross-methods developed within the project. In response to the demand for
parallelizable and resource efficient hyperparameter optimization methods,
advanced hyperparameter search algorithms are benchmarked and compared. The
evaluated algorithms, including Random Search, Hyperband and ASHA, are tested
and compared in terms of both accuracy and accuracy per compute resources
spent. As an example use case, a graph neural network model known as MLPF,
developed for the task of Machine-Learned Particle-Flow reconstruction in High
Energy Physics, acts as the base model for optimization. Results show that
hyperparameter optimization significantly increased the performance of MLPF and
that this would not have been possible without access to large-scale High
Performance Computing resources. It is also shown that, in the case of MLPF,
the ASHA algorithm in combination with Bayesian optimization gives the largest
performance increase per compute resources spent out of the investigated
algorithms.
- Abstract（参考訳）: The European Center of Excellence in Exascale Computing "Research on AIand Simulation-based Engineering at Exascale" (CoE RAISE)では、研究者がExascaleに向けた新しいスケーラブルなAI技術を開発した。
本研究は、複数の計算ノード上で分散トレーニングを用いた大規模ハイパーパラメータ最適化を実現するために、高性能コンピューティングリソースを運用する。
これは、プロジェクト内で開発されたAIとHPCのクロスメソッドを活用する、データ駆動型ユースケースに関するRAISEの取り組みの一部である。
並列化可能かつ資源効率のよいハイパーパラメータ最適化手法の需要に応じて、高度なハイパーパラメータ探索アルゴリズムをベンチマークし比較する。
Random Search、Hyperband、ASHAなどの評価アルゴリズムは、使用する計算リソースあたりの精度と精度の両方でテストされ比較される。
例えば、高エネルギー物理学における機械学習粒子流再構成のタスクのために開発されたmlpfと呼ばれるグラフニューラルネットワークモデルは、最適化のベースモデルとして機能する。
その結果,超パラメータ最適化によりMPPFの性能が大幅に向上し,大規模高性能コンピューティングリソースがなければ実現不可能であった。
また, MLPFの場合, ASHAアルゴリズムとベイジアン最適化を組み合わせることで, 計算資源当たりの処理性能が最大になることを示した。
関連論文リスト
- Model Performance Prediction for Hyperparameter Optimization of Deep
Learning Models Using High Performance Computing and Quantum Annealing [0.0]
モデル性能予測を早期停止法と組み合わせることで,ディープラーニングモデルのHPOプロセスの高速化が期待できることを示す。
我々は,古典的あるいは量子的サポートベクター回帰を性能予測に用いるSwift-Hyperbandと呼ばれる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-29T10:32:40Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - AxOMaP: Designing FPGA-based Approximate Arithmetic Operators using
Mathematical Programming [2.898055875927704]
FPGAの近似演算子を合成するための,データ解析による数学的プログラミングに基づく手法を提案する。
具体的には、特徴量データの相関解析の結果に基づいて、混合整数の2次制約付きプログラムを定式化する。
従来の進化的アルゴリズムによる最適化と比較して,PPAとBEHAVの併用最適化において,ハイパーボリュームの最大21%の改善が報告されている。
論文 参考訳（メタデータ） (2023-09-23T18:23:54Z) - Optimization of a Hydrodynamic Computational Reservoir through Evolution [58.720142291102135]
我々は,スタートアップが開発中の流体力学系のモデルと,計算貯水池としてインターフェースする。
我々は、進化探索アルゴリズムを用いて、読み出し時間と入力を波の振幅や周波数にどのようにマッピングするかを最適化した。
この貯水池システムに進化的手法を適用することで、手作業パラメータを用いた実装と比較して、XNORタスクの分離性が大幅に向上した。
論文 参考訳（メタデータ） (2023-04-20T19:15:02Z) - Hyperparameter optimization, quantum-assisted model performance
prediction, and benchmarking of AI-based High Energy Physics workloads using
HPC [0.0]
本研究は,高性能コンピューティングシステムにおいてHPOプロセスを支援するために,モデル性能予測を利用する可能性について検討する。
量子アニールは性能予測器の訓練に用いられ、量子系の現在の限界から生じる問題を克服する手法が提案されている。
衝突イベント再構成のためのAIモデルに基づくコンテナ化されたベンチマークの開発から結果が提示される。
論文 参考訳（メタデータ） (2023-03-27T09:55:33Z) - Two-step hyperparameter optimization method: Accelerating hyperparameter
search by using a fraction of a training dataset [0.15420205433587747]
計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。
我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
論文 参考訳（メタデータ） (2023-02-08T02:38:26Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳（メタデータ） (2022-09-09T14:58:43Z) - Towards Robust and Automatic Hyper-Parameter Tunning [39.04604349338802]
我々は,新しいHPO法を導入し,畳み込みネットワークの中間層の低ランク因子分解を用いて解析応答面を定義する方法について検討する。
我々は,この表面がモデル性能の代理としてどのように振る舞うかを定量化し,オートHyperと呼ぶ信頼領域探索アルゴリズムを用いて解くことができる。
論文 参考訳（メタデータ） (2021-11-28T05:27:34Z) - ES-Based Jacobian Enables Faster Bilevel Optimization [53.675623215542515]
バイレベル最適化(BO)は多くの現代の機械学習問題を解決する強力なツールとして生まれてきた。
既存の勾配法では、ヤコビアンあるいはヘッセンベクトル計算による二階微分近似が必要となる。
本稿では,進化戦略(ES)に基づく新しいBOアルゴリズムを提案し,BOの過勾配における応答ヤコビ行列を近似する。
論文 参考訳（メタデータ） (2021-10-13T19:36:50Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - An Asymptotically Optimal Multi-Armed Bandit Algorithm and
Hyperparameter Optimization [48.5614138038673]
本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。
また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。
実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
論文 参考訳（メタデータ） (2020-07-11T03:15:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。