論文の概要: A Linear Programming Enhanced Genetic Algorithm for Hyperparameter Tuning in Machine Learning
- arxiv url: http://arxiv.org/abs/2407.00613v1
- Date: Sun, 30 Jun 2024 07:11:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 02:26:49.426518
- Title: A Linear Programming Enhanced Genetic Algorithm for Hyperparameter Tuning in Machine Learning
- Title（参考訳）: 機械学習におけるハイパーパラメータチューニングのための線形計画型遺伝的アルゴリズム
- Authors: Ankur Sinha, Paritosh Pankaj,
- Abstract要約: 本稿では,機械学習におけるハイパーパラメータチューニング問題をバイレベルプログラムとして定式化する。
線形プログラムで強化されたマイクロ遺伝的アルゴリズムを用いて、バイレベルプログラムを解く。
提案手法の性能を,MNISTとCIFAR-10の2つのデータセットで検証した。
- 参考スコア（独自算出の注目度）: 0.34530027457862006
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we formulate the hyperparameter tuning problem in machine learning as a bilevel program. The bilevel program is solved using a micro genetic algorithm that is enhanced with a linear program. While the genetic algorithm searches over discrete hyperparameters, the linear program enhancement allows hyper local search over continuous hyperparameters. The major contribution in this paper is the formulation of a linear program that supports fast search over continuous hyperparameters, and can be integrated with any hyperparameter search technique. It can also be applied directly on any trained machine learning or deep learning model for the purpose of fine-tuning. We test the performance of the proposed approach on two datasets, MNIST and CIFAR-10. Our results clearly demonstrate that using the linear program enhancement offers significant promise when incorporated with any population-based approach for hyperparameter tuning.
- Abstract（参考訳）: 本稿では,機械学習におけるハイパーパラメータチューニング問題をバイレベルプログラムとして定式化する。
線形プログラムで強化されたマイクロ遺伝的アルゴリズムを用いて、バイレベルプログラムを解く。
遺伝的アルゴリズムは離散的なハイパーパラメータを探索するが、線形プログラムの拡張は連続したハイパーパラメータを超局所的に探索することを可能にする。
本研究の主な貢献は,連続したハイパーパラメータを高速に探索する線形プログラムの定式化であり,任意のハイパーパラメータ探索手法と統合可能である。
微調整のためにトレーニングされた機械学習やディープラーニングモデルに直接適用することもできる。
提案手法の性能を,MNISTとCIFAR-10の2つのデータセットで検証した。
以上の結果から, 線形プログラム拡張は, ハイパーパラメータチューニングのための集団ベースアプローチを組み込んだ場合, 有意な期待が得られた。
関連論文リスト
- Hyperparameter Optimization in Machine Learning [34.356747514732966]
ハイパーパラメータは、機械学習アルゴリズムの振る舞いを制御する設定変数である。
それらの価値の選択は、これらの技術に基づいてシステムの有効性を決定する。
我々はハイパーパラメータ最適化の統一的な処理を行い、読者に最先端技術に関する実例と洞察を提供する。
論文 参考訳（メタデータ） (2024-10-30T09:39:22Z) - Deep Ranking Ensembles for Hyperparameter Optimization [9.453554184019108]
本稿では,メタ学習型ニューラルネットワークが構成性能のランク付けに最適化され,アンサンブルによる不確実性をモデル化する手法を提案する。
12のベースライン、16のHPO検索スペース、86のデータセット/タスクからなる大規模実験プロトコルにおいて、本手法がHPOの新たな最先端結果を実現することを示す。
論文 参考訳（メタデータ） (2023-03-27T13:52:40Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - Online Hyperparameter Meta-Learning with Hypergradient Distillation [59.973770725729636]
勾配に基づくメタラーニング法は、内部最適化に関与しないパラメータのセットを仮定する。
知識蒸留による2次項の近似により,これらの限界を克服できる新しいHO法を提案する。
論文 参考訳（メタデータ） (2021-10-06T05:14:53Z) - HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using
Evolutionary Optimization [1.6114012813668934]
改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。
最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
論文 参考訳（メタデータ） (2021-09-11T16:45:39Z) - Experimental Investigation and Evaluation of Model-based Hyperparameter
Optimization [0.3058685580689604]
本稿では、一般的な機械学習アルゴリズムの理論的および実践的な結果の概要を述べる。
Rパッケージmlrは機械学習モデルの統一インターフェースとして使用される。
論文 参考訳（メタデータ） (2021-07-19T11:37:37Z) - HyperNP: Interactive Visual Exploration of Multidimensional Projection
Hyperparameters [61.354362652006834]
HyperNPは、ニューラルネットワーク近似をトレーニングすることで、プロジェクションメソッドをリアルタイムにインタラクティブに探索できるスケーラブルな方法である。
我々は3つのデータセット間でのHyperNPの性能を,性能と速度の観点から評価した。
論文 参考訳（メタデータ） (2021-06-25T17:28:14Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳（メタデータ） (2021-02-17T21:03:05Z) - Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。
RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。
この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文 参考訳（メタデータ） (2021-02-15T19:36:18Z) - A Gradient-based Bilevel Optimization Approach for Tuning
Hyperparameters in Machine Learning [0.0]
本稿では,ハイパーパラメータ最適化問題の解法として,二段階解法を提案する。
提案手法は汎用的で,任意の種類の機械学習アルゴリズムに容易に適用可能である。
提案アルゴリズムの背景にある理論を議論し、2つのデータセットについて広範な計算研究を行う。
論文 参考訳（メタデータ） (2020-07-21T18:15:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。