論文の概要: Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling

• arxiv url: http://arxiv.org/abs/2002.09927v1
• Date: Sun, 23 Feb 2020 15:52:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 09:19:34.985021
• Title: Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling
• Title（参考訳）: 重み付けは待つ価値がある - 重要サンプリングによるベイズ最適化
• Authors: Setareh Ariafar, Zelda Mariet, Ehsan Elhamifar, Dana Brooks, Jennifer Dy and Jasper Snoek
• Abstract要約: ベイジアン最適化のステート・オブ・ザ・アートランタイムと,さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善した。 評価の複雑さと品質をトレードオフするISのパラメータ化を学習することで、ベイジアン最適化のステート・オブ・ザ・アートランタイムと、さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善します。
• 参考スコア（独自算出の注目度）: 34.67740033646052
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Many contemporary machine learning models require extensive tuning of hyperparameters to perform well. A variety of methods, such as Bayesian optimization, have been developed to automate and expedite this process. However, tuning remains extremely costly as it typically requires repeatedly fully training models. We propose to accelerate the Bayesian optimization approach to hyperparameter tuning for neural networks by taking into account the relative amount of information contributed by each training example. To do so, we leverage importance sampling (IS); this significantly increases the quality of the black-box function evaluations, but also their runtime, and so must be done carefully. Casting hyperparameter search as a multi-task Bayesian optimization problem over both hyperparameters and importance sampling design achieves the best of both worlds: by learning a parameterization of IS that trades-off evaluation complexity and quality, we improve upon Bayesian optimization state-of-the-art runtime and final validation error across a variety of datasets and complex neural architectures.
• Abstract（参考訳）: 現代の機械学習モデルの多くは、ハイパパラメータの広範囲なチューニングを必要としている。 ベイズ最適化のような様々な手法がこのプロセスを自動化するために開発されている。 しかし、チューニングは通常、繰り返し完全なトレーニングモデルを必要とするため、非常にコストがかかる。 本稿では,ニューラルネットワークのハイパーパラメータチューニングに対するベイズ最適化手法を,各トレーニング例の相対的情報量を考慮して高速化する。 そのため、重要サンプリング(IS)を活用し、ブラックボックス関数の評価の質を大幅に向上させるとともに、実行時も大幅に向上させ、慎重に行う必要がある。 ハイパーパラメーター探索をハイパーパラメーターと重要サンプリング設計の両方に対するマルチタスクベイズ最適化問題としてキャストすることは、両方の世界の長所を達成している: 評価の複雑さと品質をトレードオフするISのパラメータ化を学ぶことにより、ベイズ最適化の状態と、さまざまなデータセットや複雑なニューラルネットワークアーキテクチャにおける最終的な検証エラーを改善する。

関連論文リスト

• Improving Multi-fidelity Optimization with a Recurring Learning Rate for Hyperparameter Tuning [7.591442522626255]
  再帰学習率(MORL)を考慮した多相最適化を提案する。 MORLはCNNの最適化プロセスを多要素最適化に組み込んでいる。 スロースタートの問題を緩和し、より正確な低忠実度近似を実現する。
  論文  参考訳（メタデータ） (2022-09-26T08:16:31Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization [5.063728016437489]
  我々はマルコフ決定プロセスとしてハイパーパラメータ最適化プロセスをモデル化し、強化学習でそれに取り組む。 ソフトアクター評論家と階層混合正規化に基づく新しいハイパーパラメータ最適化法が提案されている。
  論文  参考訳（メタデータ） (2021-12-08T02:34:43Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
  本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
  論文  参考訳（メタデータ） (2020-08-02T02:56:30Z)
• Multi-level Training and Bayesian Optimization for Economical Hyperparameter Optimization [12.92634461859467]
  本稿では,ハイパーパラメータ最適化に必要なトレーニング時間の総量を削減するための効果的な手法を開発する。 光のトレーニングによって生じる近似的な性能測定をキャリブレーションするために, トランキャット付加法ガウス過程モデルを提案する。 このモデルに基づいて、逐次モデルに基づくアルゴリズムが開発され、構成空間のパフォーマンスプロファイルを生成し、最適なモデルを見つける。
  論文  参考訳（メタデータ） (2020-07-20T09:03:02Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules [0.6875312133832078]
  トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。 我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
  論文  参考訳（メタデータ） (2020-06-03T08:53:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。