論文の概要: Population Descent: A Natural-Selection Based Hyper-Parameter Tuning Framework

• arxiv url: http://arxiv.org/abs/2310.14671v1
• Date: Mon, 23 Oct 2023 08:11:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 21:40:57.362463
• Title: Population Descent: A Natural-Selection Based Hyper-Parameter Tuning Framework
• Title（参考訳）: 人口降下:自然選択型ハイパーパラメータチューニングフレームワーク
• Authors: Abhinav Pomalapally, Bassel El Mabsout, Renato Mansuco
• Abstract要約: 一階勾配勾配は、これまでに実装された最も成功したアルゴリズムの基盤である。 ブラックボックス法は局所的な損失関数に敏感ではないが、次元性の呪いに苦しむ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: First-order gradient descent has been the base of the most successful optimization algorithms ever implemented. On supervised learning problems with very high dimensionality, such as neural network optimization, it is almost always the algorithm of choice, mainly due to its memory and computational efficiency. However, it is a classical result in optimization that gradient descent converges to local minima on non-convex functions. Even more importantly, in certain high-dimensional cases, escaping the plateaus of large saddle points becomes intractable. On the other hand, black-box optimization methods are not sensitive to the local structure of a loss function's landscape but suffer the curse of dimensionality. Instead, memetic algorithms aim to combine the benefits of both. Inspired by this, we present Population Descent, a memetic algorithm focused on hyperparameter optimization. We show that an adaptive m-elitist selection approach combined with a normalized-fitness-based randomization scheme outperforms more complex state-of-the-art algorithms by up to 13% on common benchmark tasks.
• Abstract（参考訳）: 一階勾配降下は、これまでに実装された最も成功した最適化アルゴリズムの基礎となっている。 ニューラルネットワーク最適化のような非常に高次元性を持つ教師付き学習問題では、主にメモリと計算効率のために、ほとんど常に選択のアルゴリズムである。 しかし、勾配降下が非凸関数上の局所ミニマに収束するという最適化の古典的な結果である。 さらに重要なことに、ある高次元の場合、大きな鞍点の台地から逃れるのは難しい。 一方、ブラックボックス最適化手法は、損失関数のランドスケープの局所構造に敏感ではなく、次元性の呪いを被る。 代わりに、memeticアルゴリズムは両方の利点を組み合わせることを目指している。 そこで我々は,超パラメータ最適化に着目したメメティックアルゴリズムであるPopulation Descentを提案する。 適応的m-elitist選択手法と正規化適合性に基づくランダム化スキームを組み合わせることで、一般的なベンチマークタスクにおいて、より複雑な最先端アルゴリズムを最大13%上回ることを示した。

関連論文リスト

• Hyperparameter Optimization in Machine Learning [34.356747514732966]
  ハイパーパラメータは、機械学習アルゴリズムの振る舞いを制御する設定変数である。 それらの価値の選択は、これらの技術に基づいてシステムの有効性を決定する。 我々はハイパーパラメータ最適化の統一的な処理を行い、読者に最先端技術に関する実例と洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-30T09:39:22Z)
• AutoRL Hyperparameter Landscapes [69.15927869840918]
  強化学習(Reinforcement Learning, RL)は印象的な結果を生み出すことができるが、その使用はハイパーパラメータがパフォーマンスに与える影響によって制限されている。 我々は,これらのハイパーパラメータの景観を1つの時間だけではなく,複数の時間内に構築し,解析する手法を提案する。 これは、ハイパーパラメータがトレーニング中に動的に調整されるべきであるという理論を支持し、ランドスケープ解析によって得られるAutoRL問題に関するさらなる洞察の可能性を示している。
  論文  参考訳（メタデータ） (2023-04-05T12:14:41Z)
• Deep Ranking Ensembles for Hyperparameter Optimization [9.453554184019108]
  本稿では,メタ学習型ニューラルネットワークが構成性能のランク付けに最適化され,アンサンブルによる不確実性をモデル化する手法を提案する。 12のベースライン、16のHPO検索スペース、86のデータセット/タスクからなる大規模実験プロトコルにおいて、本手法がHPOの新たな最先端結果を実現することを示す。
  論文  参考訳（メタデータ） (2023-03-27T13:52:40Z)
• A Framework for History-Aware Hyperparameter Optimisation in Reinforcement Learning [8.659973888018781]
  強化学習(RL)システムは、システムの性能に影響を与える一連の初期条件に依存する。 これらのトレードオフを軽減するため,複雑なイベント処理と時間モデルの統合に基づくフレームワークを提案する。 提案手法を,RLの変種であるDQNを用いた5Gモバイル通信ケーススタディで検証した。
  論文  参考訳（メタデータ） (2023-03-09T11:30:40Z)
• Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
  文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。 そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。 理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-02-18T23:31:20Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• Search Algorithms for Automated Hyper-Parameter Tuning [1.2233362977312945]
  グリッド検索とランダム検索という2つの自動ハイパーオプティマイズ手法を開発し、過去の研究のパフォーマンスを評価し改善します。 実験の結果,機械学習アルゴリズムにランダム探索とグリッド探索を適用すると精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-29T22:11:52Z)
• Self-supervised learning for fast and scalable time series hyper-parameter tuning [14.9124328578934]
  時系列モデルのハイパーパラメータは時系列解析において重要な役割を果たす。 我々はHPT(SSL-HPT)のための自己教師型学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-10T21:16:13Z)
• Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
  実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。 提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
  論文  参考訳（メタデータ） (2021-01-17T04:55:30Z)
• How much progress have we made in neural network training? A New Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
  本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。 評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。 次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
  論文  参考訳（メタデータ） (2020-10-19T21:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。