論文の概要: Iterated Population Based Training with Task-Agnostic Restarts

• arxiv url: http://arxiv.org/abs/2511.09190v1
• Date: Thu, 13 Nov 2025 01:38:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.455741
• Title: Iterated Population Based Training with Task-Agnostic Restarts
• Title（参考訳）: タスク非依存リスタートによる反復人口ベーストレーニング
• Authors: Alexander Chebykin, Tanja Alderliesten, Peter A. N. Bosman,
• Abstract要約: 我々は,このHPを再起動によって自動的に調整する新しいPBT変異体であるIterated Population Based Training (IPBT)を導入する。 8つの画像分類および強化学習タスクの評価により,我々のアルゴリズムは,5つの従来のPBTの変種と一致または相乗効果を示した。
• 参考スコア（独自算出の注目度）: 43.67838251017198
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Hyperparameter Optimization (HPO) can lift the burden of tuning hyperparameters (HPs) of neural networks. HPO algorithms from the Population Based Training (PBT) family are efficient thanks to dynamically adjusting HPs every few steps of the weight optimization. Recent results indicate that the number of steps between HP updates is an important meta-HP of all PBT variants that can substantially affect their performance. Yet, no method or intuition is available for efficiently setting its value. We introduce Iterated Population Based Training (IPBT), a novel PBT variant that automatically adjusts this HP via restarts that reuse weight information in a task-agnostic way and leverage time-varying Bayesian optimization to reinitialize HPs. Evaluation on 8 image classification and reinforcement learning tasks shows that, on average, our algorithm matches or outperforms 5 previous PBT variants and other HPO algorithms (random search, ASHA, SMAC3), without requiring a budget increase or any changes to its HPs. The source code is available at https://github.com/AwesomeLemon/IPBT.
• Abstract（参考訳）: ハイパーパラメータ最適化(HPO)は、ニューラルネットワークのハイパーパラメータ(HP)のチューニングの負担を軽減できる。 PBT(Population Based Training)ファミリーのHPOアルゴリズムは、重量最適化のいくつかのステップごとにHPを動的に調整することで効率が良い。 最近の結果から,HP更新間のステップ数はPBTの変種すべてにおいて重要なメタHPであり,その性能に大きな影響を及ぼす可能性が示唆された。 しかし、その価値を効率的に設定するための方法や直観は存在しない。 タスクに依存しない方法でウェイト情報を再利用し,時間変化のあるベイズ最適化を利用してHPを再起動する再起動により,HPを自動調整する新しいPBTモデルであるIterated Population Based Training (IPBT)を導入する。 8種類の画像分類と強化学習タスクの評価により,HPOアルゴリズムは,HPの予算増や変更を必要とせず,従来型のPBTとHPOアルゴリズム(ランダム検索,ASHA,SMAC3)を平均で比較または上回る結果を得た。 ソースコードはhttps://github.com/AwesomeLemon/IPBTで入手できる。

関連論文リスト

• Don't be lazy: CompleteP enables compute-efficient deep transformers [50.85418589942566]
  いくつかのパラメータ化はモデル深さの変化に対して最適なベースHPの転送に失敗する。 遅延学習システムにはまだパラメータ化が存在する可能性を示す理論を開発する。 我々は、Deep-wise HP Transferと非遅延学習の両方をすべての層で実現するCompletePと呼ぶパラメータ化を特定し、採用する。
  論文  参考訳（メタデータ） (2025-05-02T22:45:14Z)
• ULTHO: Ultra-Lightweight yet Efficient Hyperparameter Optimization in Deep Reinforcement Learning [50.53705050673944]
  ULTHOは,1回の走行で深部RLで高速HPOを実現するための,超軽量で強力なフレームワークである。 具体的には、HPOプロセスは、クラスタ化されたアーム(MABC)を備えたマルチアームバンディットとして定式化し、それを長期の戻り値の最適化に直接リンクする。 ALE、Procgen、MiniGrid、PyBulletなどのベンチマークでULTHOをテストする。
  論文  参考訳（メタデータ） (2025-03-08T07:03:43Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Genealogical Population-Based Training for Hyperparameter Optimization [1.0514231683620516]
  本研究では,計算コストの2倍から3倍に削減できることを実験的に実証した。 本手法は探索アルゴリズムであり,内部探索ルーチンをTPE,GP,CMA,ランダム探索などの任意の探索アルゴリズムにすることができる。
  論文  参考訳（メタデータ） (2021-09-30T08:49:41Z)
• Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges [5.139260825952818]
  本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。 HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2021-07-13T04:55:47Z)
• Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
  実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。 提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
  論文  参考訳（メタデータ） (2021-01-17T04:55:30Z)
• Practical and sample efficient zero-shot HPO [8.41866793161234]
  利用可能なアプローチの概要と、この問題に対処する2つの新しいテクニックを紹介します。 1つは、サロゲートモデルに基づいて、クエリのためのデータセットと設定のペアを適応的に選択する。 2つ目は、サロゲートモデルの検出、チューニング、テストが問題となる設定のためのもので、HyperBandとサブモジュラー最適化を組み合わせた多要素技術である。
  論文  参考訳（メタデータ） (2020-07-27T08:56:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。