論文の概要: Multiple-Frequencies Population-Based Training
- arxiv url: http://arxiv.org/abs/2506.03225v1
- Date: Tue, 03 Jun 2025 11:19:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 21:20:13.959518
- Title: Multiple-Frequencies Population-Based Training
- Title（参考訳）: マルチ周波数人口ベーストレーニング
- Authors: Waël Doulazmi, Auguste Lehuger, Marin Toromanoff, Valentin Charraut, Thibault Buhet, Fabien Moutarde,
- Abstract要約: サブポピュレーションを用いて欲求に対処するHPOアルゴリズムを提案する。
MF-PBTはサブポピュレーション間で情報を転送するマイグレーションプロセスを導入する。
- 参考スコア（独自算出の注目度）: 2.691655918692203
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement Learning's high sensitivity to hyperparameters is a source of instability and inefficiency, creating significant challenges for practitioners. Hyperparameter Optimization (HPO) algorithms have been developed to address this issue, among them Population-Based Training (PBT) stands out for its ability to generate hyperparameters schedules instead of fixed configurations. PBT trains a population of agents, each with its own hyperparameters, frequently ranking them and replacing the worst performers with mutations of the best agents. These intermediate selection steps can cause PBT to focus on short-term improvements, leading it to get stuck in local optima and eventually fall behind vanilla Random Search over longer timescales. This paper studies how this greediness issue is connected to the choice of evolution frequency, the rate at which the selection is done. We propose Multiple-Frequencies Population-Based Training (MF-PBT), a novel HPO algorithm that addresses greediness by employing sub-populations, each evolving at distinct frequencies. MF-PBT introduces a migration process to transfer information between sub-populations, with an asymmetric design to balance short and long-term optimization. Extensive experiments on the Brax suite demonstrate that MF-PBT improves sample efficiency and long-term performance, even without actually tuning hyperparameters.
- Abstract（参考訳）: 強化学習のハイパーパラメータに対する高感度は不安定性と非効率性の源であり、実践者にとって重大な課題を生み出している。
ハイパーパラメータ最適化(HPO)アルゴリズムはこの問題に対処するために開発されており、その中にはPopulation-Based Training(PBT)がある。
PBTは多数のエージェントを訓練し、それぞれに独自のハイパーパラメーターを持ち、それらを頻繁にランク付けし、最悪のパフォーマーを最高のエージェントの突然変異で置き換える。
これらの中間的な選択ステップにより、PBTは短期的な改善に集中し、ローカルな最適化で立ち往生し、最終的にはより長い時間スケールでバニラランダム検索に遅れる可能性がある。
本稿では, この欲求問題は, 進化頻度の選択, 選択の速度とどのように関係しているかを考察する。
MF-PBT(Multiple-Frequency Population-Based Training)は、サブポピュレーションを用いて、それぞれ異なる周波数で進化する欲求性に対処する新しいHPOアルゴリズムである。
MF-PBTは、短期と長期の最適化のバランスをとるために、非対称な設計で、サブポピュレーション間で情報を転送するマイグレーションプロセスを導入している。
ブラックススイートの大規模な実験は、MF-PBTが実際にハイパーパラメータをチューニングしなくてもサンプル効率と長期性能を改善することを示した。
関連論文リスト
- Generalized Population-Based Training for Hyperparameter Optimization in Reinforcement Learning [10.164982368785854]
一般人口ベーストレーニング(GPBT)とペアワイズ学習(PL)
PLは、パフォーマンスの差を識別し、パフォーマンスの低いエージェントに対する全体的なガイダンスを提供するために、包括的なペアワイズ戦略を採用している。
論文 参考訳（メタデータ） (2024-04-12T04:23:20Z) - PriorBand: Practical Hyperparameter Optimization in the Age of Deep
Learning [49.92394599459274]
我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。
各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
論文 参考訳（メタデータ） (2023-06-21T16:26:14Z) - Multi-Objective Population Based Training [62.997667081978825]
Population Based Training (PBT) は効率的なハイパーパラメータ最適化アルゴリズムである。
本研究ではPBTの多目的版であるMO-PBTを紹介する。
論文 参考訳（メタデータ） (2023-06-02T10:54:24Z) - Massively Parallel Genetic Optimization through Asynchronous Propagation
of Populations [50.591267188664666]
Propulateは、グローバル最適化のための進化的最適化アルゴリズムとソフトウェアパッケージである。
提案アルゴリズムは, 選択, 突然変異, 交叉, 移動の変種を特徴とする。
Propulateは解の精度を犠牲にすることなく、最大で3桁高速であることがわかった。
論文 参考訳（メタデータ） (2023-01-20T18:17:34Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - Auto-FedRL: Federated Hyperparameter Optimization for
Multi-institutional Medical Image Segmentation [48.821062916381685]
Federated Learning(FL)は、明示的なデータ共有を避けながら協調的なモデルトレーニングを可能にする分散機械学習技術である。
本稿では,Auto-FedRLと呼ばれる,効率的な強化学習(RL)に基づくフェデレーションハイパーパラメータ最適化アルゴリズムを提案する。
提案手法の有効性は,CIFAR-10データセットと2つの実世界の医用画像セグメンテーションデータセットの不均一なデータ分割に対して検証される。
論文 参考訳（メタデータ） (2022-03-12T04:11:42Z) - Faster Improvement Rate Population Based Training [7.661301899629696]
本稿では、人口ベーストレーニング(PBT)の問題に対処する高速改善率PBT(FIRE PBT)を提案する。
我々は、新しいフィットネス指標を導き、それを使って、一部の人口構成員が長期的なパフォーマンスに集中できるようにします。
実験の結果、FIRE PBTはImageNetベンチマークでPBTより優れており、手動学習率のスケジュールでトレーニングされたネットワークの性能と一致していることがわかった。
論文 参考訳（メタデータ） (2021-09-28T15:30:55Z) - Low-Latency Federated Learning over Wireless Channels with Differential
Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。
本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文 参考訳（メタデータ） (2021-06-20T13:51:18Z) - A Population-based Hybrid Approach to Hyperparameter Optimization for
Neural Networks [0.0]
HBRKGAは、Biased Random Key Genetic AlgorithmとRandom Walk技術を組み合わせて、ハイパーパラメータ空間を効率的に探索するハイブリッドアプローチである。
その結果、HBRKGAは8つのデータセットのうち6つにおいて、ベースライン法よりも優れたハイパーパラメータ構成を見つけることができた。
論文 参考訳（メタデータ） (2020-11-22T17:12:31Z) - Provably Efficient Online Hyperparameter Optimization with
Population-Based Bandits [12.525529586816955]
提案手法は, 人口ベース帯域幅推定アルゴリズムを初めて提案する。
PB2は確率モデルを用いて探索を効率的に導く。
PB2 が計算予算を緩やかに抑えながら高い性能を達成できることを, 一連の RL 実験で示す。
論文 参考訳（メタデータ） (2020-02-06T21:27:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。