論文の概要: Analysis of Hyper-Parameters for Small Games: Iterations or Epochs in Self-Play?

• arxiv url: http://arxiv.org/abs/2003.05988v1
• Date: Thu, 12 Mar 2020 19:28:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 06:37:00.118491
• Title: Analysis of Hyper-Parameters for Small Games: Iterations or Epochs in Self-Play?
• Title（参考訳）: 小ゲームにおけるハイパーパラメータの分析 : 自己プレイにおけるイテレーションかエポックか?
• Authors: Hui Wang, Michael Emmerich, Mike Preuss, Aske Plaat
• Abstract要約: セルフプレイでは、モンテカルロ木探索(Monte Carlo Tree Search)が深層ニューラルネットワークのトレーニングに使用され、木探索に使用される。 これらのパラメータがAlphaZeroのようなセルフプレイアルゴリズムのトレーニングにどのように貢献するかを評価する。 トレーニングが多すぎるとパフォーマンスが低下する、驚くべき結果が得られます。
• 参考スコア（独自算出の注目度）: 4.534822382040738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The landmark achievements of AlphaGo Zero have created great research interest into self-play in reinforcement learning. In self-play, Monte Carlo Tree Search is used to train a deep neural network, that is then used in tree searches. Training itself is governed by many hyperparameters.There has been surprisingly little research on design choices for hyper-parameter values and loss-functions, presumably because of the prohibitive computational cost to explore the parameter space. In this paper, we investigate 12 hyper-parameters in an AlphaZero-like self-play algorithm and evaluate how these parameters contribute to training. We use small games, to achieve meaningful exploration with moderate computational effort. The experimental results show that training is highly sensitive to hyper-parameter choices. Through multi-objective analysis we identify 4 important hyper-parameters to further assess. To start, we find surprising results where too much training can sometimes lead to lower performance. Our main result is that the number of self-play iterations subsumes MCTS-search simulations, game-episodes, and training epochs. The intuition is that these three increase together as self-play iterations increase, and that increasing them individually is sub-optimal. A consequence of our experiments is a direct recommendation for setting hyper-parameter values in self-play: the overarching outer-loop of self-play iterations should be maximized, in favor of the three inner-loop hyper-parameters, which should be set at lower values. A secondary result of our experiments concerns the choice of optimization goals, for which we also provide recommendations.
• Abstract（参考訳）: AlphaGo Zeroの目覚ましい業績は、強化学習における自己プレイに大きな関心を生んだ。 セルフプレイでは、モンテカルロ木探索(Monte Carlo Tree Search)が深層ニューラルネットワークのトレーニングに使用され、木探索に使用される。 トレーニング自体が多くのハイパーパラメータによって管理されているが、パラメータ空間を探索する計算コストが禁じられているため、ハイパーパラメータ値と損失関数の設計選択に関する驚くべき研究はほとんど行われていない。 本稿では,alphazeroライクな自己再生アルゴリズムにおける12のハイパーパラメータを調査し,これらのパラメータがトレーニングにどのように寄与するかを評価する。 適度な計算努力で有意義な探索を達成するために、私たちは小さなゲームを使います。 実験の結果,ハイパーパラメータ選択に対するトレーニングの感度が高かった。 多目的分析により4つの重要なハイパーパラメータを特定し、さらなる評価を行う。 まず、トレーニングが多すぎるとパフォーマンスが低下する、という驚くべき結果が得られます。 本研究の主な成果は,MCTS-search シミュレーション,ゲームエポゾネート,トレーニングエポックを仮定したセルフプレイイテレーションの数である。 直感的には、これらの3つは、自己再生の反復が増加するにつれて一緒に増加し、個別に増加させるのは、準最適である。 実験の結果,自己再生におけるハイパーパラメータ値の設定は,直接的に推奨される: 自己再生イテレーションの全体的外ループを最大化し,より低い値に設定すべき3つの内ループハイパーパラメータを優先する。 実験の二次的な結果は最適化目標の選択に関係しており、推奨も提供しています。

関連論文リスト

• Combining Automated Optimisation of Hyperparameters and Reward Shape [7.407166175374958]
  本稿では,ハイパーパラメータと報酬関数を組み合わせた最適化手法を提案する。 近似ポリシー最適化とソフト・アクター・クリティカルを用いた広範囲な実験を行った。 以上の結果から,統合最適化は環境の半分のベースライン性能よりも有意に向上し,他の環境との競争性能も向上することが示された。
  論文  参考訳（メタデータ） (2024-06-26T12:23:54Z)
• Reward Finetuning for Faster and More Accurate Unsupervised Object Discovery [64.41455104593304]
  Reinforcement Learning from Human Feedback (RLHF)は、機械学習モデルを改善し、それを人間の好みに合わせる。 本稿では,RL法と類似した手法を非教師対象発見に適用することを提案する。 私たちは、我々のアプローチがより正確であるだけでなく、訓練よりも桁違いに高速であることを示した。
  論文  参考訳（メタデータ） (2023-10-29T17:03:12Z)
• AutoRL Hyperparameter Landscapes [69.15927869840918]
  強化学習(Reinforcement Learning, RL)は印象的な結果を生み出すことができるが、その使用はハイパーパラメータがパフォーマンスに与える影響によって制限されている。 我々は,これらのハイパーパラメータの景観を1つの時間だけではなく,複数の時間内に構築し,解析する手法を提案する。 これは、ハイパーパラメータがトレーニング中に動的に調整されるべきであるという理論を支持し、ランドスケープ解析によって得られるAutoRL問題に関するさらなる洞察の可能性を示している。
  論文  参考訳（メタデータ） (2023-04-05T12:14:41Z)
• Hyper-Parameter Auto-Tuning for Sparse Bayesian Learning [72.83293818245978]
  我々は、疎ベイズ学習におけるハイパーパラメータチューニングのためのニューラルネットワーク(NN)ベースのオートチューニングを設計し、学習する。 コンバージェンス率とリカバリ性能の大幅な向上が達成できることを示す。
  論文  参考訳（メタデータ） (2022-11-09T12:34:59Z)
• Goal-Oriented Sensitivity Analysis of Hyperparameters in Deep Learning [0.0]
  Hilbert-Schmidt Independence Criterion (HSIC) に基づく目標指向感度分析のハイパーパラメータ解析および最適化への応用について検討した。 MNISTやCifar、古典的な機械学習データセットに応用したHSICに基づく最適化アルゴリズムを導出し、科学的な機械学習に関心を持つ。
  論文  参考訳（メタデータ） (2022-07-13T14:21:12Z)
• No Parameters Left Behind: Sensitivity Guided Adaptive Learning Rate for Training Large Transformer Models [132.90062129639705]
  本稿では,全てのパラメータを十分に訓練するための新しいトレーニング戦略を提案する。 感度の低いパラメータは冗長であり、学習率を高めて適合性を改善する。 対照的に、高い感度を持つパラメータを十分に訓練し、学習率を下げて正規化することで、さらなる過度なオーバーフィッティングを防止する。
  論文  参考訳（メタデータ） (2022-02-06T00:22:28Z)
• Accelerating Robotic Reinforcement Learning via Parameterized Action Primitives [92.0321404272942]
  強化学習は汎用ロボットシステムの構築に使用することができる。 しかし、ロボット工学の課題を解決するためにRLエージェントを訓練することは依然として困難である。 本研究では,ロボット行動プリミティブ(RAPS)のライブラリを手動で指定し,RLポリシーで学習した引数をパラメータ化する。 動作インターフェースへの簡単な変更は、学習効率とタスクパフォーマンスの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2021-10-28T17:59:30Z)
• To tune or not to tune? An Approach for Recommending Important Hyperparameters [2.121963121603413]
  機械学習モデルの性能とハイパーパラメータの関係を構築して、トレンドを発見し、洞察を得ることを検討する。 この結果から,ユーザが時間を要するチューニング戦略を実行する価値があるかどうかを判断することが可能になる。
  論文  参考訳（メタデータ） (2021-08-30T08:54:58Z)
• How much progress have we made in neural network training? A New Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
  本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。 評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。 次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
  論文  参考訳（メタデータ） (2020-10-19T21:46:39Z)
• Quantity vs. Quality: On Hyperparameter Optimization for Deep Reinforcement Learning [7.559006677497745]
  強化学習アルゴリズムは、異なるランダムシードによるトレーニング実行間のパフォーマンスの強いばらつきを示すことができる。 我々は、悪いパフォーマーのプルーニングにより、大量のハイパーパラメータ設定を探索するのが良いか、あるいは、繰り返しを用いて収集結果の品質を目標とする方がよいかをベンチマークする。
  論文  参考訳（メタデータ） (2020-07-29T05:12:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。