論文の概要: Fast Benchmarking of Asynchronous Multi-Fidelity Optimization on Zero-Cost Benchmarks

• arxiv url: http://arxiv.org/abs/2403.01888v3
• Date: Mon, 19 Aug 2024 08:07:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 03:27:41.889620
• Title: Fast Benchmarking of Asynchronous Multi-Fidelity Optimization on Zero-Cost Benchmarks
• Title（参考訳）: ゼロコストベンチマークによる非同期多相最適化の高速ベンチマーク
• Authors: Shuhei Watanabe, Neeratyoy Mallik, Edward Bergman, Frank Hutter,
• Abstract要約: 我々は、ゼロコストベンチマークで効率的な並列HPOを実現するPythonパッケージを紹介した。 提案手法は,ファイルシステムに格納された情報に基づいて,正確な返却順序を算出する。 私たちのパッケージは pip install mfhpo-simulator でインストールできます。
• 参考スコア（独自算出の注目度）: 40.8406006936244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deep learning has celebrated many successes, its results often hinge on the meticulous selection of hyperparameters (HPs). However, the time-consuming nature of deep learning training makes HP optimization (HPO) a costly endeavor, slowing down the development of efficient HPO tools. While zero-cost benchmarks, which provide performance and runtime without actual training, offer a solution for non-parallel setups, they fall short in parallel setups as each worker must communicate its queried runtime to return its evaluation in the exact order. This work addresses this challenge by introducing a user-friendly Python package that facilitates efficient parallel HPO with zero-cost benchmarks. Our approach calculates the exact return order based on the information stored in file system, eliminating the need for long waiting times and enabling much faster HPO evaluations. We first verify the correctness of our approach through extensive testing and the experiments with 6 popular HPO libraries show its applicability to diverse libraries and its ability to achieve over 1000x speedup compared to a traditional approach. Our package can be installed via pip install mfhpo-simulator.
• Abstract（参考訳）: 深層学習は多くの成功を祝っているが、その結果はしばしばHP(Hyperparameters)の細心の注意を払っている。 しかし、ディープラーニングトレーニングの時間を要する性質により、HP最適化(HPO)はコストのかかる取り組みとなり、効率的なHPOツールの開発が遅くなる。 実際のトレーニングなしでパフォーマンスとランタイムを提供するゼロコストベンチマークは、非並列セットアップのソリューションを提供するが、各ワーカーがクエリされたランタイムを通信して正確な順序で評価を返す必要があるため、並列セットアップでは不足している。 この作業は、ゼロコストベンチマークによる効率的な並列HPOを容易にする、ユーザフレンドリなPythonパッケージを導入することで、この問題に対処する。 提案手法は,ファイルシステムに格納された情報に基づいて正確な返却順序を算出し,待ち時間の短縮とHPO評価の高速化を実現する。 6つのHPOライブラリによる実験は、多様なライブラリに適用可能であり、従来のアプローチと比較して1000倍以上のスピードアップを実現する能力を示している。 私たちのパッケージは pip install mfhpo-simulator でインストールできます。

関連論文リスト

• Large Language Models Prompting With Episodic Memory [53.8690170372303]
  本稿では,POEM(PrOmpting with Episodic Memory)を提案する。 テストフェーズでは、各テストクエリのサンプルのシーケンスを最適化し、エピソードメモリにおけるトップkで最も類似したトレーニング例から最も高い合計報酬を得るシーケンスを選択する。 その結果,POEMはテキスト分類タスクにおいてTEMPERAやRLPromptといった最近の技術よりも5.3%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-08-14T11:19:28Z)
• Python Wrapper for Simulating Multi-Fidelity Optimization on HPO Benchmarks without Any Wait [1.370633147306388]
  我々はPythonラッパーを開発し、各ワーカーが数時間待つ代わりに10～2ドル秒で実際の実験と全く同じ評価順序を得られるようにします。
  論文  参考訳（メタデータ） (2023-05-27T23:28:54Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization [50.12374973760274]
  本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。 我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-08T15:29:10Z)
• HPOBench: A Collection of Reproducible Multi-Fidelity Benchmark Problems for HPO [30.89560505052524]
  我々は,既存の7つのベンチマークファミリと5つの新しいベンチマークファミリを含むHPOBenchを提案する。 HPOBenchは、個々のベンチマークをコンテナに分離してパッケージ化することで、再現可能な方法で、この拡張可能なマルチフィデリティHPOベンチマークを実行することができる。
  論文  参考訳（メタデータ） (2021-09-14T14:28:51Z)
• DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture [81.82173855071312]
  本稿では,AutoMLコンポーネントを統合したエンドツーエンドソリューションを提案する。 Dhaは、様々なデータセット、特にセルベースの検索空間を持つImageNetの77.4%の精度で、最先端(SOTA)結果を達成する。
  論文  参考訳（メタデータ） (2021-09-13T08:12:50Z)
• Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges [5.139260825952818]
  本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。 HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2021-07-13T04:55:47Z)
• HPO-B: A Large-Scale Reproducible Benchmark for Black-Box HPO based on OpenML [5.735035463793008]
  我々はHPOアルゴリズムを比較するための大規模ベンチマークであるHPO-Bを提案する。 ベンチマークはOpenMLリポジトリから収集され、事前処理されています。 我々は,非伝達学習および伝達学習HPOの手法の比較のための,明示的な実験的プロトコル,分割,評価方法について詳述する。
  論文  参考訳（メタデータ） (2021-06-11T09:18:39Z)
• Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
  実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。 提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
  論文  参考訳（メタデータ） (2021-01-17T04:55:30Z)
• Practical and sample efficient zero-shot HPO [8.41866793161234]
  利用可能なアプローチの概要と、この問題に対処する2つの新しいテクニックを紹介します。 1つは、サロゲートモデルに基づいて、クエリのためのデータセットと設定のペアを適応的に選択する。 2つ目は、サロゲートモデルの検出、チューニング、テストが問題となる設定のためのもので、HyperBandとサブモジュラー最適化を組み合わせた多要素技術である。
  論文  参考訳（メタデータ） (2020-07-27T08:56:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。