論文の概要: Hyperparameter Transfer Learning with Adaptive Complexity
- arxiv url: http://arxiv.org/abs/2102.12810v1
- Date: Thu, 25 Feb 2021 12:26:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-26 14:00:35.861389
- Title: Hyperparameter Transfer Learning with Adaptive Complexity
- Title（参考訳）: 適応的複雑性をもつハイパーパラメータ転送学習
- Authors: Samuel Horv\'ath, Aaron Klein, Peter Richt\'arik, C\'edric Archambeau
- Abstract要約: ネストされたドロップアウトと自動関連性判定によって複雑性を高める順序付き非線形基底関数の集合を学習する新しいマルチタスクBO法を提案する。
- 参考スコア（独自算出の注目度）: 5.695163312473305
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian optimization (BO) is a sample efficient approach to automatically
tune the hyperparameters of machine learning models. In practice, one
frequently has to solve similar hyperparameter tuning problems sequentially.
For example, one might have to tune a type of neural network learned across a
series of different classification problems. Recent work on multi-task BO
exploits knowledge gained from previous tuning tasks to speed up a new tuning
task. However, previous approaches do not account for the fact that BO is a
sequential decision making procedure. Hence, there is in general a mismatch
between the number of evaluations collected in the current tuning task compared
to the number of evaluations accumulated in all previously completed tasks. In
this work, we enable multi-task BO to compensate for this mismatch, such that
the transfer learning procedure is able to handle different data regimes in a
principled way. We propose a new multi-task BO method that learns a set of
ordered, non-linear basis functions of increasing complexity via nested
drop-out and automatic relevance determination. Experiments on a variety of
hyperparameter tuning problems show that our method improves the sample ef
- Abstract（参考訳）: Bayesian optimization (BO)は、機械学習モデルのハイパーパラメータを自動的にチューニングするサンプル効率の高いアプローチです。
実際に、同様のハイパーパラメータチューニング問題をシーケンシャルに解く必要がある。
例えば、一連の異なる分類問題で学習したニューラルネットワークのタイプをチューニングする必要があるかもしれない。
マルチタスクBOに関する最近の研究は、以前のチューニングタスクから得られた知識を利用して、新しいチューニングタスクをスピードアップします。
しかし、以前のアプローチはBOが連続的な意思決定手順であるという事実を考慮に入れていない。
したがって、一般に、現在のチューニングタスクで収集された評価の数と、以前に完了したすべてのタスクで蓄積された評価の数との間にミスマッチがあります。
本研究では,転送学習手順が異なるデータレジームを原則的に扱うことができるように,マルチタスクboによるミスマッチの補償を可能にする。
ネストされたドロップアウトと自動関連性判定によって複雑性を高める順序付き非線形基底関数の集合を学習する新しいマルチタスクBO法を提案する。
各種ハイパーパラメータチューニング問題に関する実験により,サンプルefの改善が得られた。
関連論文リスト
- Scalable Fine-tuning from Multiple Data Sources: A First-Order Approximation Approach [17.79010397902909]
目的タスクに対する言語モデル(LM)の微調整の問題について,$n$補助タスクの情報を用いて最適に検討する。
この問題には、NLPにおけるターゲット命令チューニングや、チェーン・オブ・ファインタニングにおけるデータ選択など、幅広い応用がある。
繰り返し学習せずにモデル微調整性能を推定する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-09-28T21:26:50Z) - Unsupervised Learning of Initialization in Deep Neural Networks via
Maximum Mean Discrepancy [74.34895342081407]
本稿では,入力データに対する優れた初期化を求めるための教師なしアルゴリズムを提案する。
まず、パラメータ空間における各パラメータ構成が、d-way分類の特定の下流タスクに対応することに気付く。
次に、学習の成功は、初期パラメータの近傍で下流タスクがいかに多様であるかに直接関連していると推測する。
論文 参考訳（メタデータ） (2023-02-08T23:23:28Z) - Transfer Learning based Search Space Design for Hyperparameter Tuning [31.96809688536572]
過去のタスクから履歴をチューニングする助けを借りてBO検索空間を設計する自動手法を提案する。
このシンプルで効果的なアプローチは、多くの既存のBOメソッドに伝達学習機能を持たせるために使用できる。
論文 参考訳（メタデータ） (2022-06-06T11:48:58Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳（メタデータ） (2022-05-11T17:10:41Z) - Few-Shot Bayesian Optimization with Deep Kernel Surrogates [7.208515071018781]
本研究では,新しいタスクの応答関数に適応するために,共有型深層サロゲートモデルを学習する数ショット学習問題を提案する。
本稿では,エンドツーエンドにメタ学習されたガウス的プロセスサロゲートにディープカーネルネットワークを適用することを提案する。
その結果、深部カーネルサーロゲートの斬新な数ショット最適化は、HPOでの新しい最先端の結果につながります。
論文 参考訳（メタデータ） (2021-01-19T15:00:39Z) - Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。
diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
論文 参考訳（メタデータ） (2020-12-14T12:34:01Z) - How much progress have we made in neural network training? A New
Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。
評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。
次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
論文 参考訳（メタデータ） (2020-10-19T21:46:39Z) - Online Parameter-Free Learning of Multiple Low Variance Tasks [36.08679456245112]
低分散タスク列の増大に対して共通のバイアスベクトルを学習する手法を提案する。
我々のアプローチは統計的でない設定で示され、2つの変種から成り立つ。
実験により,本手法の有効性が確認された。
論文 参考訳（メタデータ） (2020-07-11T09:52:53Z) - Automatic Tuning of Stochastic Gradient Descent with Bayesian
Optimisation [8.340191147575307]
我々は,潜在ガウス過程と自己回帰的定式化に基づく,オプティマイザのトレースに対する元の確率モデルを導入する。
新しい学習率値によって引き起こされる行動の急激な変化に柔軟に調整する。
まず、コールドスタート実行のための学習率のオンライン適応のために、次に、同様のタスクセットのスケジュールを調整し、新しいタスクのためにウォームスタートするために、一連の問題に取り組むのが適しています。
論文 参考訳（メタデータ） (2020-06-25T13:18:18Z) - Continual Learning using a Bayesian Nonparametric Dictionary of Weight
Factors [75.58555462743585]
訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。
Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。
連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
論文 参考訳（メタデータ） (2020-04-21T15:20:19Z) - Stepwise Model Selection for Sequence Prediction via Deep Kernel
Learning [100.83444258562263]
本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。
結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。
我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
論文 参考訳（メタデータ） (2020-01-12T09:42:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。