Fugu-MT 論文翻訳(概要): Making Reinforcement Learning Work on Swimmer

論文の概要: Making Reinforcement Learning Work on Swimmer

arxiv url: http://arxiv.org/abs/2208.07587v1
Date: Tue, 16 Aug 2022 08:00:43 GMT
ステータス: 処理完了
システム内更新日: 2022-08-17 12:42:43.530893
Title: Making Reinforcement Learning Work on Swimmer
Title（参考訳）: スイマーを用いた強化学習
Authors: Ma\"el Franceschetti and Coline Lacoux and Ryan Ohouens and Olivier Sigaud
Abstract要約: SWIMMER環境は強化学習(RL)の標準ベンチマークである SWIMMER上でのRL手法の低性能は、重要なハイパーパラメータの不十分なチューニングから生じる。
参考スコア（独自算出の注目度）: 6.497100024663685
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The SWIMMER environment is a standard benchmark in reinforcement learning (RL). In particular, it is often used in papers comparing or combining RL methods with direct policy search methods such as genetic algorithms or evolution strategies. A lot of these papers report poor performance on SWIMMER from RL methods and much better performance from direct policy search methods. In this technical report we show that the low performance of RL methods on SWIMMER simply comes from the inadequate tuning of an important hyper-parameter and that, by setting this hyper-parameter to a correct value, the issue can be very easily fixed.
Abstract（参考訳）: SWIMMER環境は強化学習(RL)の標準ベンチマークである。特に、RL法と遺伝的アルゴリズムや進化戦略といった直接的なポリシー探索法を比較したり組み合わせたりする論文でよく用いられる。これらの論文の多くは、RL法によるSWIMMERの性能の低下と、直接ポリシー探索法による性能の向上を報告している。本稿では,SWIMMER 上での RL 手法の低性能は,重要なハイパーパラメータの調整が不十分であること,また,このハイパーパラメータを正しい値に設定することで,問題を簡単に修正できることを示す。

関連論文リスト

ARLBench: Flexible and Efficient Benchmarking for Hyperparameter Optimization in Reinforcement Learning [42.33815055388433]
ARLBenchは強化学習(RL)におけるハイパーパラメータ最適化(HPO)のベンチマークである様々なHPOアプローチの比較が可能であり、高い効率で評価できる。 ARLBenchはAutoRLの研究のための効率的で柔軟性があり、未来志向の基盤である。
論文参考訳（メタデータ） (2024-09-27T15:22:28Z)
Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs [29.505270680223003]
ヒューマンフィードバックからの強化学習の形でのAIアライメントは、ハイパフォーマンスな大規模言語モデルにとって重要な要素として扱われている。近年,RLHF の RL 部分の正準法としてPPO ( Proximal Policy Optimization) が位置づけられている。 PPO の多くのコンポーネントは RLHF の文脈では不要であり、より単純な REINFORCE スタイルの最適化は PPO と DPO や RAFT のような新たに提案された "RL-free" 手法の両方より優れていることを示す。
論文参考訳（メタデータ） (2024-02-22T17:52:34Z)
Decoupled Prioritized Resampling for Offline RL [120.49021589395005]
オフライン強化学習のためのオフライン優先体験再生(OPER)を提案する。 OPERは、高度に反転する遷移を優先するように設計された優先順位関数のクラスを備えており、トレーニング中により頻繁に訪問することができる。優先順位関数のクラスは行動ポリシーの改善を誘導し、この改善されたポリシーに制約された場合、ポリシー制約付きオフラインRLアルゴリズムによりより良い解が得られる可能性が示唆された。
論文参考訳（メタデータ） (2023-06-08T17:56:46Z)
Hyperparameters in Reinforcement Learning and How To Tune Them [25.782420501870295]
深層強化学習におけるハイパーパラメータの選択は,エージェントの最終的な性能とサンプル効率に大きな影響を及ぼすことを示す。我々は,シードのチューニングとテストの分離など,AutoMLから確立されたベストプラクティスを採用することを提案する。我々は、最先端のHPOツールを、RLアルゴリズムや環境を手作りのツールと比較することで、これをサポートする。
論文参考訳（メタデータ） (2023-06-02T07:48:18Z)
Train Hard, Fight Easy: Robust Meta Reinforcement Learning [78.16589993684698]
実世界のアプリケーションにおける強化学習(RL)の大きな課題は、環境、タスク、クライアントの違いである。標準的なMRL法は、タスクよりも平均的なリターンを最適化するが、リスクや難易度の高いタスクでは悪い結果に悩まされることが多い。本研究では, MRL の頑健な目標を制御レベルで定義する。ロバストメタRLアルゴリズム(RoML)を用いてデータ非効率に対処する
論文参考訳（メタデータ） (2023-01-26T14:54:39Z)
A Survey of Meta-Reinforcement Learning [69.76165430793571]
我々は,メタRLと呼ばれるプロセスにおいて,機械学習問題自体として,より優れたRLアルゴリズムを開発した。本稿では,タスク分布の存在と各タスクに利用可能な学習予算に基づいて,高レベルでメタRL研究をクラスタ化する方法について議論する。 RL実践者のための標準ツールボックスにメタRLを組み込むことの道程について,オープンな問題を提示することによって,結論を下す。
論文参考訳（メタデータ） (2023-01-19T12:01:41Z)
Meta Reinforcement Learning with Successor Feature Based Context [51.35452583759734]
本稿では,既存のメタRLアルゴリズムと競合する性能を実現するメタRL手法を提案する。本手法は,複数のタスクに対して同時に高品質なポリシーを学習するだけでなく,短時間のトレーニングで新しいタスクに迅速に適応できる。
論文参考訳（メタデータ） (2022-07-29T14:52:47Z)
Jump-Start Reinforcement Learning [68.82380421479675]
本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
論文参考訳（メタデータ） (2022-04-05T17:25:22Z)
Policy Information Capacity: Information-Theoretic Measure for Task Complexity in Deep Reinforcement Learning [83.66080019570461]
課題の難易度について,環境にとらわれない,アルゴリズムにとらわれない2つの定量的指標を提案する。これらの指標は、様々な代替案よりも、正規化タスク可解性スコアとの相関が高いことを示す。これらのメトリクスは、鍵設計パラメータの高速かつ計算効率の良い最適化にも使用できる。
論文参考訳（メタデータ） (2021-03-23T17:49:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。