論文の概要: A multi-objective perspective on jointly tuning hardware and hyperparameters

• arxiv url: http://arxiv.org/abs/2106.05680v1
• Date: Thu, 10 Jun 2021 11:52:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 14:14:56.075411
• Title: A multi-objective perspective on jointly tuning hardware and hyperparameters
• Title（参考訳）: 共同チューニングハードウェアとハイパーパラメータの多目的視点
• Authors: David Salinas, Valerio Perrone, Olivier Cruchant, Cedric Archambeau
• Abstract要約: 完全なAutoMLソリューションでは、適切なハードウェアを自動選択する必要がある。 ハードウェア構成を自動的に選択し適応する多目的アプローチを採用しています。 我々はNASとHPOの広範な実験において、両者が大きなスピードアップとコスト削減をもたらすことを示した。
• 参考スコア（独自算出の注目度）: 10.605719154114357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In addition to the best model architecture and hyperparameters, a full AutoML solution requires selecting appropriate hardware automatically. This can be framed as a multi-objective optimization problem: there is not a single best hardware configuration but a set of optimal ones achieving different trade-offs between cost and runtime. In practice, some choices may be overly costly or take days to train. To lift this burden, we adopt a multi-objective approach that selects and adapts the hardware configuration automatically alongside neural architectures and their hyperparameters. Our method builds on Hyperband and extends it in two ways. First, we replace the stopping rule used in Hyperband by a non-dominated sorting rule to preemptively stop unpromising configurations. Second, we leverage hyperparameter evaluations from related tasks via transfer learning by building a probabilistic estimate of the Pareto front that finds promising configurations more efficiently than random search. We show in extensive NAS and HPO experiments that both ingredients bring significant speed-ups and cost savings, with little to no impact on accuracy. In three benchmarks where hardware is selected in addition to hyperparameters, we obtain runtime and cost reductions of at least 5.8x and 8.8x, respectively. Furthermore, when applying our multi-objective method to the tuning of hyperparameters only, we obtain a 10\% improvement in runtime while maintaining the same accuracy on two popular NAS benchmarks.
• Abstract（参考訳）: 最高のモデルアーキテクチャとハイパーパラメータに加えて、完全なAutoMLソリューションでは、適切なハードウェアを自動的に選択する必要がある。 最高のハードウェア構成はひとつではなく、コストとランタイムの間に異なるトレードオフを達成するための最適なハードウェアセットのセットです。 実際には、過度にコストがかかるか、訓練に数日かかることもある。 この負担を軽減すべく、我々は、ニューラルネットワークとそのハイパーパラメータとともにハードウェア構成を自動的に選択し、適応する多目的アプローチを採用しています。 提案手法はHyperband上に構築し,2つの方法で拡張する。 まず、ハイパーバンドで使用される停止規則を非支配的なソートルールで置き換え、非プロミネーション構成を事前に停止する。 第2に,ランダム探索よりも有望な構成を見出すパレートフロントの確率的推定を構築することにより,トランスファー学習による関連タスクからのハイパーパラメータ評価を活用する。 我々はNASとHPOの広範な実験において、両者が精度にほとんど影響を与えず、大幅なスピードアップとコスト削減をもたらすことを示した。 ハイパーパラメータに加えてハードウェアが選択される3つのベンチマークでは、ランタイムとコストをそれぞれ5.8倍と8.8倍に削減する。 さらに,マルチオブジェクト法をハイパーパラメータのチューニングのみに適用すると,2つのNASベンチマークで同じ精度を維持しつつ,実行時の10倍の改善が得られる。

関連論文リスト

• Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
  本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。 提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
  論文  参考訳（メタデータ） (2024-02-28T10:09:04Z)
• Parameter Optimization with Conscious Allocation (POCA) [4.478575931884855]
  ハイパーバンドベースの機械学習アプローチが最も効果的である。 私たちは出席します。 新人 Conscious Allocation (POCA) は、入力を適応的に割り当てるハイパーバンドベースのアルゴリズムである。 ハイパーパラメータの構成に予算を割り当てます POCAは、両方の設定で強い設定を高速に見つける。
  論文  参考訳（メタデータ） (2023-12-29T00:13:55Z)
• Parallel Multi-Objective Hyperparameter Optimization with Uniform Normalization and Bounded Objectives [5.94867851915494]
  これらの問題に対処する多目的ベイズ最適化(MoBO)アルゴリズムを提案する。 不要な構成の探索を避けるため、目的に制約を課すことで、アプローチの効率を向上する。 最後に、MoBOを並列化するアプローチを活用し、16倍のワーカーを使用する場合、5倍のスピードアップをもたらす。
  論文  参考訳（メタデータ） (2023-09-26T13:48:04Z)
• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• A Comparative study of Hyper-Parameter Optimization Tools [2.6097538974670935]
  我々は、4つのpythonライブラリ、すなわちOptuna、Hyperopt、Optunity、およびシーケンシャルモデルアルゴリズム構成(SMAC)の性能を比較した。 私たちは、OptunaがCASH問題とNeurIPSのブラックボックス最適化の課題に対してより良いパフォーマンスを持つことを発見した。
  論文  参考訳（メタデータ） (2022-01-17T14:49:36Z)
• DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture [81.82173855071312]
  本稿では,AutoMLコンポーネントを統合したエンドツーエンドソリューションを提案する。 Dhaは、様々なデータセット、特にセルベースの検索空間を持つImageNetの77.4%の精度で、最先端(SOTA)結果を達成する。
  論文  参考訳（メタデータ） (2021-09-13T08:12:50Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules [0.6875312133832078]
  トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。 我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
  論文  参考訳（メタデータ） (2020-06-03T08:53:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。