論文の概要: Automatic Hyper-Parameter Optimization Based on Mapping Discovery from
Data to Hyper-Parameters
- arxiv url: http://arxiv.org/abs/2003.01751v1
- Date: Tue, 3 Mar 2020 19:26:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 22:07:48.680907
- Title: Automatic Hyper-Parameter Optimization Based on Mapping Discovery from
Data to Hyper-Parameters
- Title（参考訳）: データからハイパーパラメータへのマッピング発見に基づくハイパーパラメータの自動最適化
- Authors: Bozhou Chen, Kaixin Zhang, Longshen Ou, Chenmin Ba, Hongzhi Wang and
Chunnan Wang (Habin Institute of Technology)
- Abstract要約: 本稿では,データから対応するハイパーパラメータへのマッピングに基づく,効率的な自動パラメータ最適化手法を提案する。
提案手法は最先端のアポラッチを著しく上回ることを示す。
- 参考スコア（独自算出の注目度）: 3.37314595161109
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning algorithms have made remarkable achievements in the field of
artificial intelligence. However, most machine learning algorithms are
sensitive to the hyper-parameters. Manually optimizing the hyper-parameters is
a common method of hyper-parameter tuning. However, it is costly and
empirically dependent. Automatic hyper-parameter optimization (autoHPO) is
favored due to its effectiveness. However, current autoHPO methods are usually
only effective for a certain type of problems, and the time cost is high. In
this paper, we propose an efficient automatic parameter optimization approach,
which is based on the mapping from data to the corresponding hyper-parameters.
To describe such mapping, we propose a sophisticated network structure. To
obtain such mapping, we develop effective network constrution algorithms. We
also design strategy to optimize the result futher during the application of
the mapping. Extensive experimental results demonstrate that the proposed
approaches outperform the state-of-the-art apporaches significantly.
- Abstract（参考訳）: 機械学習アルゴリズムは人工知能の分野で大きな成果を上げている。
しかし、ほとんどの機械学習アルゴリズムはハイパーパラメータに敏感である。
ハイパーパラメータの手動最適化は、ハイパーパラメータチューニングの一般的な方法である。
しかし、高価で経験的に依存している。
自動過パラメータ最適化(autoHPO)はその有効性から好まれる。
しかし、現在のautoHPO法は特定の問題に対してのみ有効であり、時間的コストが高い。
本稿では,データから対応するハイパーパラメータへのマッピングに基づく,効率的な自動パラメータ最適化手法を提案する。
このようなマッピングを説明するために,我々は高度なネットワーク構造を提案する。
このようなマッピングを得るために,効率的なネットワーク構成アルゴリズムを開発した。
また、マッピングの適用中に結果を最適化するための戦略も設計します。
大規模な実験結果から,提案手法は最先端のアポラッチを大きく上回った。
関連論文リスト
- Parameter Optimization with Conscious Allocation (POCA) [4.478575931884855]
ハイパーバンドベースの機械学習アプローチが最も効果的である。
私たちは出席します。
新人
Conscious Allocation (POCA) は、入力を適応的に割り当てるハイパーバンドベースのアルゴリズムである。
ハイパーパラメータの構成に予算を割り当てます
POCAは、両方の設定で強い設定を高速に見つける。
論文 参考訳（メタデータ） (2023-12-29T00:13:55Z) - AutoRL Hyperparameter Landscapes [69.15927869840918]
強化学習(Reinforcement Learning, RL)は印象的な結果を生み出すことができるが、その使用はハイパーパラメータがパフォーマンスに与える影響によって制限されている。
我々は,これらのハイパーパラメータの景観を1つの時間だけではなく,複数の時間内に構築し,解析する手法を提案する。
これは、ハイパーパラメータがトレーニング中に動的に調整されるべきであるという理論を支持し、ランドスケープ解析によって得られるAutoRL問題に関するさらなる洞察の可能性を示している。
論文 参考訳（メタデータ） (2023-04-05T12:14:41Z) - Hyper-Parameter Auto-Tuning for Sparse Bayesian Learning [72.83293818245978]
我々は、疎ベイズ学習におけるハイパーパラメータチューニングのためのニューラルネットワーク(NN)ベースのオートチューニングを設計し、学習する。
コンバージェンス率とリカバリ性能の大幅な向上が達成できることを示す。
論文 参考訳（メタデータ） (2022-11-09T12:34:59Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - Towards Robust and Automatic Hyper-Parameter Tunning [39.04604349338802]
我々は,新しいHPO法を導入し,畳み込みネットワークの中間層の低ランク因子分解を用いて解析応答面を定義する方法について検討する。
我々は,この表面がモデル性能の代理としてどのように振る舞うかを定量化し,オートHyperと呼ぶ信頼領域探索アルゴリズムを用いて解くことができる。
論文 参考訳（メタデータ） (2021-11-28T05:27:34Z) - HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using
Evolutionary Optimization [1.6114012813668934]
改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。
最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
論文 参考訳（メタデータ） (2021-09-11T16:45:39Z) - HyperNP: Interactive Visual Exploration of Multidimensional Projection
Hyperparameters [61.354362652006834]
HyperNPは、ニューラルネットワーク近似をトレーニングすることで、プロジェクションメソッドをリアルタイムにインタラクティブに探索できるスケーラブルな方法である。
我々は3つのデータセット間でのHyperNPの性能を,性能と速度の観点から評価した。
論文 参考訳（メタデータ） (2021-06-25T17:28:14Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳（メタデータ） (2021-02-17T21:03:05Z) - Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。
RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。
この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文 参考訳（メタデータ） (2021-02-15T19:36:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。