論文の概要: A Unified Gaussian Process for Branching and Nested Hyperparameter
Optimization
- arxiv url: http://arxiv.org/abs/2402.04885v1
- Date: Fri, 19 Jan 2024 21:11:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-11 15:13:28.266880
- Title: A Unified Gaussian Process for Branching and Nested Hyperparameter
Optimization
- Title（参考訳）: 分岐とネストハイパーパラメータ最適化のための統一ガウス過程
- Authors: Jiazhao Zhang and Ying Hung and Chung-Ching Lin and Zicheng Liu
- Abstract要約: ディープラーニングでは、条件に依存したパラメータのチューニングが一般的に行われている。
新しいGPモデルでは、新しいカーネル関数を通じて入力変数間の依存構造が説明される。
ニューラルネットワークの一連の合成シミュレーションおよび実データ応用において、高い予測精度とより良い最適化効率が観察される。
- 参考スコア（独自算出の注目度）: 19.351804144005744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Choosing appropriate hyperparameters plays a crucial role in the success of
neural networks as hyper-parameters directly control the behavior and
performance of the training algorithms. To obtain efficient tuning, Bayesian
optimization methods based on Gaussian process (GP) models are widely used.
Despite numerous applications of Bayesian optimization in deep learning, the
existing methodologies are developed based on a convenient but restrictive
assumption that the tuning parameters are independent of each other. However,
tuning parameters with conditional dependence are common in practice. In this
paper, we focus on two types of them: branching and nested parameters. Nested
parameters refer to those tuning parameters that exist only within a particular
setting of another tuning parameter, and a parameter within which other
parameters are nested is called a branching parameter. To capture the
conditional dependence between branching and nested parameters, a unified
Bayesian optimization framework is proposed. The sufficient conditions are
rigorously derived to guarantee the validity of the kernel function, and the
asymptotic convergence of the proposed optimization framework is proven under
the continuum-armed-bandit setting. Based on the new GP model, which accounts
for the dependent structure among input variables through a new kernel
function, higher prediction accuracy and better optimization efficiency are
observed in a series of synthetic simulations and real data applications of
neural networks. Sensitivity analysis is also performed to provide insights
into how changes in hyperparameter values affect prediction accuracy.
- Abstract（参考訳）: 適切なハイパーパラメータを選択することは、トレーニングアルゴリズムの動作とパフォーマンスを直接制御するハイパーパラメータとして、ニューラルネットワークの成功において重要な役割を果たす。
効率的なチューニングを実現するため,ガウス過程(GP)モデルに基づくベイズ最適化手法が広く用いられている。
ディープラーニングにおけるベイズ最適化の多くの応用にもかかわらず、既存の手法は、チューニングパラメータが互いに独立であるという便利だが制限的な仮定に基づいて開発されている。
しかし、実際には条件依存のチューニングパラメータが一般的である。
本稿では,分岐パラメータとネストパラメータの2つのタイプに注目した。
Nestedパラメータは、他のチューニングパラメータの特定の設定内でのみ存在するチューニングパラメータを指し、他のパラメータがネストされたパラメータはブランチパラメータと呼ばれる。
分岐パラメータとネストパラメータの条件依存性を捉えるために,統一ベイズ最適化フレームワークを提案する。
十分条件が厳密に導出され、カーネル関数の妥当性が保証され、提案された最適化フレームワークの漸近収束が連続武装帯域設定の下で証明される。
新しいカーネル関数による入力変数間の依存構造を考慮した新しいGPモデルに基づいて、ニューラルネットワークの一連の合成シミュレーションおよび実データ応用において、高い予測精度とより良い最適化効率が観察される。
感度分析も行われ、ハイパーパラメータ値の変化が予測精度に与える影響についての洞察を提供する。
関連論文リスト
- Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。
私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。
最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
論文 参考訳（メタデータ） (2024-07-08T12:32:51Z) - Parameter Optimization with Conscious Allocation (POCA) [4.478575931884855]
ハイパーバンドベースの機械学習アプローチが最も効果的である。
私たちは出席します。
新人
Conscious Allocation (POCA) は、入力を適応的に割り当てるハイパーバンドベースのアルゴリズムである。
ハイパーパラメータの構成に予算を割り当てます
POCAは、両方の設定で強い設定を高速に見つける。
論文 参考訳（メタデータ） (2023-12-29T00:13:55Z) - Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
私たちは新しいビジュアルを提案します。
Sensuous-Aware Fine-Tuning (SPT) スキーム。
SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。
ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
論文 参考訳（メタデータ） (2023-03-15T12:34:24Z) - On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。
これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。
我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
論文 参考訳（メタデータ） (2022-11-28T17:41:48Z) - Surrogate modeling for Bayesian optimization beyond a single Gaussian
process [62.294228304646516]
本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。
拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。
提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
論文 参考訳（メタデータ） (2022-05-27T16:43:10Z) - Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。
RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。
この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文 参考訳（メタデータ） (2021-02-15T19:36:18Z) - Efficient Hyperparameter Tuning with Dynamic Accuracy Derivative-Free
Optimization [0.27074235008521236]
我々は,最近の動的精度微分自由最適化法をハイパーパラメータチューニングに適用する。
この方法は、収束保証を維持しながら、学習問題の不正確な評価を可能にする。
固定精度アプローチと比較して頑健さと効率性を実証する。
論文 参考訳（メタデータ） (2020-11-06T00:59:51Z) - Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian
Optimization and Tuning Rules [0.6875312133832078]
トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。
我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
論文 参考訳（メタデータ） (2020-06-03T08:53:48Z) - Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。
ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。
本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
論文 参考訳（メタデータ） (2020-02-19T18:59:52Z) - Online Parameter Estimation for Safety-Critical Systems with Gaussian
Processes [6.122161391301866]
オンラインパラメータ推定のためのガウス過程(GP)に基づくベイズ最適化フレームワークを提案する。
パラメータ空間の応答面上の効率的な探索戦略を用いて、最小限の機能評価で大域最適解を求める。
我々は,パラメータの変化を考慮したシミュレーションにおいて,アクティベートされた平面振子と安全臨界振子について実演する。
論文 参考訳（メタデータ） (2020-02-18T20:38:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。