論文の概要: Transfer Learning based Search Space Design for Hyperparameter Tuning

• arxiv url: http://arxiv.org/abs/2206.02511v1
• Date: Mon, 6 Jun 2022 11:48:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 13:57:53.424763
• Title: Transfer Learning based Search Space Design for Hyperparameter Tuning
• Title（参考訳）: ハイパーパラメータチューニングのための転送学習に基づく探索空間設計
• Authors: Yang Li, Yu Shen, Huaijun Jiang, Tianyi Bai, Wentao Zhang, Ce Zhang and Bin Cui
• Abstract要約: 過去のタスクから履歴をチューニングする助けを借りてBO検索空間を設計する自動手法を提案する。 このシンプルで効果的なアプローチは、多くの既存のBOメソッドに伝達学習機能を持たせるために使用できる。
• 参考スコア（独自算出の注目度）: 31.96809688536572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The tuning of hyperparameters becomes increasingly important as machine learning (ML) models have been extensively applied in data mining applications. Among various approaches, Bayesian optimization (BO) is a successful methodology to tune hyper-parameters automatically. While traditional methods optimize each tuning task in isolation, there has been recent interest in speeding up BO by transferring knowledge across previous tasks. In this work, we introduce an automatic method to design the BO search space with the aid of tuning history from past tasks. This simple yet effective approach can be used to endow many existing BO methods with transfer learning capabilities. In addition, it enjoys the three advantages: universality, generality, and safeness. The extensive experiments show that our approach considerably boosts BO by designing a promising and compact search space instead of using the entire space, and outperforms the state-of-the-arts on a wide range of benchmarks, including machine learning and deep learning tuning tasks, and neural architecture search.
• Abstract（参考訳）: 機械学習(ML)モデルがデータマイニングアプリケーションに広く適用されているため、ハイパーパラメータのチューニングはますます重要になる。 ベイズ最適化(BO)は、ハイパーパラメータを自動チューニングする手法として成功している。 従来の手法では、各チューニングタスクを個別に最適化するが、従来のタスク間で知識を伝達することでBOを高速化することに興味がある。 本稿では,過去のタスクの履歴をチューニングし,bo探索空間を自動設計する手法を提案する。 このシンプルで効果的なアプローチは、多くの既存のBOメソッドに伝達学習機能を持たせるために使用できる。 さらに、普遍性、一般性、安全という3つの利点を享受している。 広範にわたる実験により,提案手法は空間全体ではなく,有望でコンパクトな検索空間を設計することによってBOを大幅に向上し,機械学習やディープラーニングチューニングタスク,ニューラルネットワーク検索など,幅広いベンチマークにおいて最先端の検索性能を向上することが示された。

関連論文リスト

• Deep Memory Search: A Metaheuristic Approach for Optimizing Heuristic Search [0.0]
  本稿では,メタヒューリスティック検索をメモリ駆動プロセスとしてモデル化するDeep Heuristic Search (DHS) という新しい手法を提案する。 DHSは複数の探索層とメモリベースの探索探索機構を用いて、大きな動的探索空間をナビゲートする。
  論文  参考訳（メタデータ） (2024-10-22T14:16:49Z)
• Reinforced In-Context Black-Box Optimization [64.25546325063272]
  RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。 RIBBOは、複数の動作アルゴリズムとタスクによって生成される最適化履歴を学習するために、表現的なシーケンスモデルを使用している。 提案手法の中心となるのは,テキストレグレット・ツー・ゴートークンによる最適化履歴の増大である。
  論文  参考訳（メタデータ） (2024-02-27T11:32:14Z)
• HyperBO+: Pre-training a universal prior for Bayesian optimization with hierarchical Gaussian processes [7.963551878308098]
  HyperBO+は階層型ガウス過程の事前学習手法である。 我々はHyperBO+が検索空間に一般化でき、競合するベースラインよりも後悔度が低いことを示す。
  論文  参考訳（メタデータ） (2022-12-20T18:47:10Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Visual-Language Navigation Pretraining via Prompt-based Environmental Self-exploration [83.96729205383501]
  本稿では,言語埋め込みの高速適応を実現するために,プロンプトベースの学習を導入する。 我々のモデルは、VLNやREVERIEを含む多様な視覚言語ナビゲーションタスクに適応することができる。
  論文  参考訳（メタデータ） (2022-03-08T11:01:24Z)
• Automatic tuning of hyper-parameters of reinforcement learning algorithms using Bayesian optimization with behavioral cloning [0.0]
  強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。 本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。 実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
  論文  参考訳（メタデータ） (2021-12-15T13:10:44Z)
• Accelerating Robotic Reinforcement Learning via Parameterized Action Primitives [92.0321404272942]
  強化学習は汎用ロボットシステムの構築に使用することができる。 しかし、ロボット工学の課題を解決するためにRLエージェントを訓練することは依然として困難である。 本研究では,ロボット行動プリミティブ(RAPS)のライブラリを手動で指定し,RLポリシーで学習した引数をパラメータ化する。 動作インターフェースへの簡単な変更は、学習効率とタスクパフォーマンスの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2021-10-28T17:59:30Z)
• Bayesian Optimization and Deep Learning forsteering wheel angle prediction [58.720142291102135]
  本研究の目的は,自動走行システムにおける操舵角度予測の精度の高いモデルを得ることである。 BOは限られた試行数で、BOST-LSTMと呼ばれるモデルを特定し、古典的なエンドツーエンド駆動モデルと比較して最も正確な結果を得た。
  論文  参考訳（メタデータ） (2021-10-22T15:25:14Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• Hyperparameter Transfer Learning with Adaptive Complexity [5.695163312473305]
  ネストされたドロップアウトと自動関連性判定によって複雑性を高める順序付き非線形基底関数の集合を学習する新しいマルチタスクBO法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T12:26:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。