論文の概要: Power Laws for Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2302.00441v2
• Date: Thu, 25 May 2023 12:35:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 22:47:29.596860
• Title: Power Laws for Hyperparameter Optimization
• Title（参考訳）: ハイパーパラメータ最適化のための電力法則
• Authors: Arlind Kadra, Maciej Janowski, Martin Wistuba, Josif Grabocka
• Abstract要約: 本稿では, ニューラルネットワークモデルを用いて, ゆるいスケーリングパターンに従う予測を行う手法を提案する。 提案手法は,すべてのベンチマークにおいて,すべての競合相手と比較して,最高のリアルタイム結果を得ることによって,最良の結果を得る。
• 参考スコア（独自算出の注目度）: 19.93778251564468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter optimization is an important subfield of machine learning that focuses on tuning the hyperparameters of a chosen algorithm to achieve peak performance. Recently, there has been a stream of methods that tackle the issue of hyperparameter optimization, however, most of the methods do not exploit the scaling law property of learning curves. In this work, we propose Deep Power Laws (DPL), an ensemble of neural network models conditioned to yield predictions that follow a power-law scaling pattern. Our method dynamically decides which configurations to pause and train incrementally by making use of gray-box evaluations. We compare our method against 7 state-of-the-art competitors on 3 benchmarks related to tabular, image, and NLP datasets covering 59 diverse tasks. Our method achieves the best results across all benchmarks by obtaining the best any-time results compared to all competitors.
• Abstract（参考訳）: ハイパーパラメータ最適化は、ピーク性能を達成するために選択されたアルゴリズムのハイパーパラメータをチューニングすることに焦点を当てた機械学習の重要なサブフィールドである。 近年,ハイパーパラメータ最適化の問題に対処する手法が多数存在するが,ほとんどの手法は学習曲線のスケーリング法則を利用していない。 本研究では,ニューラルネットワークモデルの集合体であるDeep Power Laws (DPL)を提案する。 提案手法は,グレーボックス評価を用いて,どの設定を停止し,段階的に訓練するかを動的に決定する。 本手法は,59のタスクをカバーする表,画像,nlpデータセットに関連する3つのベンチマークにおいて,最先端の7つの競合相手と比較した。 提案手法は,すべてのベンチマークにおいて,すべての競合相手と比較して,最高のリアルタイム結果を得ることによって,最良の結果を得る。

関連論文リスト

• Harmonic Oscillator based Particle Swarm Optimization [0.0]
  一般に、パラメータ(パラメータ空間)の集合は、これらのパラメータ(コスト関数)に依存する関数の最低値を見つけるように調整される。 ほとんどの場合、パラメータ空間は完全に探索するには大きすぎるため、最も効率的な手法は要素(最適化プロセスの開始設定と意思決定に含まれるランダム性)とよく設計された決定論的プロセスを組み合わせることである。 本稿では,食品を探す鳥の群れにインスパイアされた高効率で成功したアルゴリズムであるParticle Optimization(PSO)をハーモニックス(Harmonics)の原理と統合する手法を提案する。 この物理に基づくアプローチは集合エネルギーの概念を導入し、よりスムーズかつスムーズにします。
  論文  参考訳（メタデータ） (2024-10-10T15:35:45Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
  文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。 そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。 理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-02-18T23:31:20Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization Method [0.0]
  ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。 提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
  論文  参考訳（メタデータ） (2022-08-25T14:25:16Z)
• A Comparative study of Hyper-Parameter Optimization Tools [2.6097538974670935]
  我々は、4つのpythonライブラリ、すなわちOptuna、Hyperopt、Optunity、およびシーケンシャルモデルアルゴリズム構成(SMAC)の性能を比較した。 私たちは、OptunaがCASH問題とNeurIPSのブラックボックス最適化の課題に対してより良いパフォーマンスを持つことを発見した。
  論文  参考訳（メタデータ） (2022-01-17T14:49:36Z)
• Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization [5.063728016437489]
  我々はマルコフ決定プロセスとしてハイパーパラメータ最適化プロセスをモデル化し、強化学習でそれに取り組む。 ソフトアクター評論家と階層混合正規化に基づく新しいハイパーパラメータ最適化法が提案されている。
  論文  参考訳（メタデータ） (2021-12-08T02:34:43Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• On Hyper-parameter Tuning for Stochastic Optimization Algorithms [28.88646928299302]
  本稿では,強化学習に基づく最適化アルゴリズムのハイパーパラメータをチューニングするための,最初のアルゴリズムフレームワークを提案する。 提案フレームワークはアルゴリズムにおけるハイパーパラメータチューニングの標準ツールとして利用できる。
  論文  参考訳（メタデータ） (2020-03-04T12:29:12Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。