論文の概要: How far away are truly hyperparameter-free learning algorithms?

• arxiv url: http://arxiv.org/abs/2505.24005v1
• Date: Thu, 29 May 2025 20:57:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.664726
• Title: How far away are truly hyperparameter-free learning algorithms?
• Title（参考訳）: 真のハイパーパラメータフリー学習アルゴリズムはどこまで遠いのか?
• Authors: Priya Kasimbeg, Vincent Roulet, Naman Agarwal, Sourabh Medapati, Fabian Pedregosa, Atish Agarwala, George E. Dahl,
• Abstract要約: 我々は,ハイパーパラメータフリー手法の構成要素として,学習速度フリー手法の可能性を評価する。 文献提供のデフォルト設定がベンチマークでは不十分であることが分かりました。 最高のAlgoPerf校正学習レートフリーメソッドは、パフォーマンスが大幅に向上したが、ベンチマークスコア全体でも同様の校正ベースラインにわずかに遅れを取っていた。
• 参考スコア（独自算出の注目度）: 21.3925393750153
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite major advances in methodology, hyperparameter tuning remains a crucial (and expensive) part of the development of machine learning systems. Even ignoring architectural choices, deep neural networks have a large number of optimization and regularization hyperparameters that need to be tuned carefully per workload in order to obtain the best results. In a perfect world, training algorithms would not require workload-specific hyperparameter tuning, but would instead have default settings that performed well across many workloads. Recently, there has been a growing literature on optimization methods which attempt to reduce the number of hyperparameters -- particularly the learning rate and its accompanying schedule. Given these developments, how far away is the dream of neural network training algorithms that completely obviate the need for painful tuning? In this paper, we evaluate the potential of learning-rate-free methods as components of hyperparameter-free methods. We freeze their (non-learning rate) hyperparameters to default values, and score their performance using the recently-proposed AlgoPerf: Training Algorithms benchmark. We found that literature-supplied default settings performed poorly on the benchmark, so we performed a search for hyperparameter configurations that performed well across all workloads simultaneously. The best AlgoPerf-calibrated learning-rate-free methods had much improved performance but still lagged slightly behind a similarly calibrated NadamW baseline in overall benchmark score. Our results suggest that there is still much room for improvement for learning-rate-free methods, and that testing against a strong, workload-agnostic baseline is important to improve hyperparameter reduction techniques.
• Abstract（参考訳）: 方法論の大きな進歩にもかかわらず、ハイパーパラメータチューニングは、マシンラーニングシステムの開発において重要な(そして高価な)部分であり続けている。 アーキテクチャ上の選択を無視したディープニューラルネットワークは,最高の結果を得るためには,ワークロード毎に慎重にチューニングする必要がある,多数の最適化と正規化ハイパーパラメータを備えている。 完璧な世界では、トレーニングアルゴリズムはワークロード固有のハイパーパラメータチューニングを必要としない。 近年、ハイパーパラメーターの数を減らそうとする最適化手法、特に学習率とそれに伴うスケジュールに関する文献が増えている。 これらの発展を考えると、痛みを伴うチューニングの必要性を完全に回避するニューラルネットワークトレーニングアルゴリズムの夢は、どこまで遠くにあるのだろうか? 本稿では,ハイパーパラメータフリー手法の構成要素として,学習速度フリー手法の可能性を評価する。 私たちは、(非学習率)ハイパーパラメータをデフォルト値に凍結し、最近発表されたAlgoPerf: Training Algorithmsベンチマークを使用してパフォーマンスを評価します。 文献提供のデフォルト設定がベンチマークでは不十分であることが分かり、すべてのワークロードで同時に動作するハイパーパラメータ設定の検索を実行しました。 最高のAlgoPerf校正の学習レートフリーメソッドは、パフォーマンスが大幅に向上したが、ベンチマークスコア全体でも同様に校正されたNadamWベースラインにわずかに遅れを取っていた。 以上の結果から,学習速度のない手法にはまだ多くの改善の余地があることが示唆され,高パラメータ削減技術の改善には,強いワークロードに依存しないベースラインに対するテストが重要である。

関連論文リスト

• Training neural networks faster with minimal tuning using pre-computed lists of hyperparameters for NAdamW [11.681640186200951]
  NAdamWのための実用的かつ高性能なハイパーパラメータリストを提示する。 最高のNAdamWハイパーパラメータリストは、構築に使用されていないAlgoPerfのホールドアウトワークロードでうまく機能します。 また、ベーシックな学習率/ウェイト崩壊スイープと、同じ予算に制限された既製のベイズ最適化ツールを上回ります。
  論文  参考訳（メタデータ） (2025-03-06T00:14:50Z)
• Online Hyperparameter Optimization for Class-Incremental Learning [99.70569355681174]
  クラス増分学習(Class-incremental Learning, CIL)は、クラス数がフェーズごとに増加する一方で、分類モデルを訓練することを目的としている。 CILの固有の課題は、安定性と塑性のトレードオフである。すなわち、CILモデルは古い知識を保ち、新しい知識を吸収するためにプラスチックを保たなければならない。 本稿では,事前設定を知らずにトレードオフを適応的に最適化するオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-11T17:58:51Z)
• Online Weighted Q-Ensembles for Reduced Hyperparameter Tuning in Reinforcement Learning [0.38073142980732994]
  強化学習はロボット制御を学ぶための有望なパラダイムであり、ダイナミックスモデルを必要とせずに複雑な制御ポリシーを学習することができる。 本稿では,複数の強化学習エージェントのアンサンブルを用いて,それぞれ異なるパラメータの集合と,最適な演奏セットを選択するメカニズムを提案する。 オンライン重み付きQ-アンサンブルは,q平均アンサンブルと比較した場合,全体の低分散と優れた結果を示した。
  論文  参考訳（メタデータ） (2022-09-29T19:57:43Z)
• Scalable One-Pass Optimisation of High-Dimensional Weight-Update Hyperparameters by Implicit Differentiation [0.0]
  近似的過勾配型ハイパーパラメータオプティマイザを開発した。 トレーニングは1回のみであり、再スタートは行わない。 また、真の過次性への収束を動機づける議論も提供する。
  論文  参考訳（メタデータ） (2021-10-20T09:57:57Z)
• Efficient Hyperparameter Optimization for Physics-based Character Animation [1.2183405753834562]
  本稿では,DRLに基づく文字制御システムの高パラメータ最適化のための,新しいカリキュラムベースのマルチフィデリティベイズ最適化フレームワーク(CMFBO)を提案する。 提案アルゴリズムは,DeepMimicの著者がリリースした設定と比較して,少なくとも5倍の効率向上が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-26T06:46:36Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• How much progress have we made in neural network training? A New Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
  本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。 評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。 次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
  論文  参考訳（メタデータ） (2020-10-19T21:46:39Z)
• Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves [53.37905268850274]
  我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。 ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。 何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
  論文  参考訳（メタデータ） (2020-09-23T16:35:09Z)
• A Gradient-based Bilevel Optimization Approach for Tuning Hyperparameters in Machine Learning [0.0]
  本稿では,ハイパーパラメータ最適化問題の解法として,二段階解法を提案する。 提案手法は汎用的で,任意の種類の機械学習アルゴリズムに容易に適用可能である。 提案アルゴリズムの背景にある理論を議論し、2つのデータセットについて広範な計算研究を行う。
  論文  参考訳（メタデータ） (2020-07-21T18:15:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。