論文の概要: Python Wrapper for Simulating Multi-Fidelity Optimization on HPO Benchmarks without Any Wait

• arxiv url: http://arxiv.org/abs/2305.17595v2
• Date: Thu, 29 Jun 2023 16:27:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 16:35:30.964236
• Title: Python Wrapper for Simulating Multi-Fidelity Optimization on HPO Benchmarks without Any Wait
• Title（参考訳）: Python Wrapper - HPOベンチマーク上でのマルチファイダリティ最適化のシミュレーション
• Authors: Shuhei Watanabe
• Abstract要約: 我々はPythonラッパーを開発し、各ワーカーが数時間待つ代わりに10～2ドル秒で実際の実験と全く同じ評価順序を得られるようにします。
• 参考スコア（独自算出の注目度）: 1.370633147306388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter (HP) optimization of deep learning (DL) is essential for high performance. As DL often requires several hours to days for its training, HP optimization (HPO) of DL is often prohibitively expensive. This boosted the emergence of tabular or surrogate benchmarks, which enable querying the (predictive) performance of DL with a specific HP configuration in a fraction. However, since the actual runtime of a DL training is significantly different from its query response time, simulators of an asynchronous HPO, e.g. multi-fidelity optimization, must wait for the actual runtime at each iteration in a na\"ive implementation; otherwise, the evaluation order during simulation does not match with the real experiment. To ease this issue, we developed a Python wrapper and describe its usage. This wrapper forces each worker to wait so that we yield exactly the same evaluation order as in the real experiment with only $10^{-2}$ seconds of waiting instead of waiting several hours. Our implementation is available at https://github.com/nabenabe0928/mfhpo-simulator/.
• Abstract（参考訳）: ディープラーニング(DL)のハイパーパラメータ(HP)最適化は高性能に不可欠である。 DLは訓練に数時間から数日を要することが多いため、HP最適化(HPO)は高額であることが多い。 これにより表型ベンチマークやsurrogateベンチマークが出現し、dlの(予測的な)パフォーマンスを分数で特定のhp構成でクエリできるようになった。 しかし、DLトレーニングの実際の実行時間はクエリ応答時間と大きく異なるため、非同期HPOのシミュレータ、例えばマルチフィデリティ最適化は、na\\ive実装で各イテレーションで実際の実行を待たなければならない。 この問題を緩和するため、Pythonラッパーを開発し、その使用法を説明しました。 このラッパーは各作業者に待機させ、実際の実験と全く同じ評価順序を、数時間待つのではなく、わずか10^{-2}$秒で得るようにします。 実装はhttps://github.com/nabenabe0928/mfhpo-simulator/で利用可能です。

関連論文リスト

• Fast Benchmarking of Asynchronous Multi-Fidelity Optimization on Zero-Cost Benchmarks [40.8406006936244]
  我々は、ゼロコストベンチマークで効率的な並列HPOを実現するPythonパッケージを紹介した。 提案手法は,ファイルシステムに格納された情報に基づいて,正確な返却順序を算出する。 私たちのパッケージは pip install mfhpo-simulator でインストールできます。
  論文  参考訳（メタデータ） (2024-03-04T09:49:35Z)
• Green AI: A Preliminary Empirical Study on Energy Consumption in DL Models Across Different Runtime Infrastructures [56.200335252600354]
  トレーニング済みのモデルを、ネイティブな開発環境とは異なる環境にデプロイするのは、一般的なプラクティスです。 これにより、インフラを含むONNXや標準フォーマットとして機能するONNXなどの交換フォーマットが導入された。
  論文  参考訳（メタデータ） (2024-02-21T09:18:44Z)
• Parallel $Q$-Learning: Scaling Off-policy Reinforcement Learning under Massively Parallel Simulation [17.827002299991285]
  強化学習は、大量のトレーニングデータを必要とするため、複雑なタスクに時間を要する。 アイザック・ギムのようなGPUベースのシミュレーションの最近の進歩は、コモディティGPU上で何千回もデータを収集している。 本稿では,PPOを壁面時間で上回る並列$Q$-Learning方式を提案する。
  論文  参考訳（メタデータ） (2023-07-24T17:59:37Z)
• Python Tool for Visualizing Variability of Pareto Fronts over Multiple Runs [1.370633147306388]
  経験的達成サーフェスのためのPythonパッケージを開発した。 パッケージはhttps://github.com/nabe0928/empirical-attainment-funcで入手できる。
  論文  参考訳（メタデータ） (2023-05-15T17:59:34Z)
• PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
  PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
  論文  参考訳（メタデータ） (2022-10-17T14:49:14Z)
• Optimizing Data Collection in Deep Reinforcement Learning [4.9709347068704455]
  GPUベクタライゼーションは、一般的に使用されるCPUシミュレータよりも最大1024タイムでスピードアップできる。 シミュレーションの複雑さがメモリ帯域幅の要求で増大するにつれて、シミュレーターカーネルの核融合の高速化は11.3Times$となり、最大1024times$に増加することを示す。
  論文  参考訳（メタデータ） (2022-07-15T20:22:31Z)
• Accelerated Quality-Diversity for Robotics through Massive Parallelism [4.260312058817663]
  政策評価はすでにQDアルゴリズムの高速化に並行して行われているが、単一のマシンでしか機能しない。 最近のアクセラレーター上で動作するシミュレータの進歩により、単一のGPU/TPU上で数千の評価を並列に行うことができる。 QDアルゴリズムは理想的な候補であり,対話型時間スケールで大規模並列処理を実行できることを示す。
  論文  参考訳（メタデータ） (2022-02-02T19:44:17Z)
• Large Batch Simulation for Deep Reinforcement Learning [101.01408262583378]
  我々は,視覚複雑な3次元環境における深層強化学習に基づく学習を,事前作業よりも2桁高速化する。 単一のGPUマシンで1秒間に19,000フレーム以上の経験と最大72,000フレーム/秒のエンドツーエンドのトレーニング速度を実現します。 バッチシミュレーションと性能最適化を組み合わせることで、1つのGPU上の複雑な3D環境において、従来の最先端システムでトレーニングされたエージェントの精度の97%から97%まで、ポイントナビゲーションエージェントをトレーニングできることを実証する。
  論文  参考訳（メタデータ） (2021-03-12T00:22:50Z)
• Real-Time Execution of Large-scale Language Models on Mobile [49.32610509282623]
  BERTの最良のモデル構造は,特定のデバイスに適合する計算サイズである。 我々のフレームワークは、モバイルデバイスのリソース仕様とリアルタイム仕様の両方を満たすための特定モデルを保証することができる。 具体的には、当社のモデルはCPUでは5.2倍、GPUでは4.1倍、BERTベースでは0.5-2%の精度損失がある。
  論文  参考訳（メタデータ） (2020-09-15T01:59:17Z)
• PolyDL: Polyhedral Optimizations for Creation of High Performance DL primitives [55.79741270235602]
  本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。 我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。 また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-02T06:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。