論文の概要: Hyperparameter Optimization for Multi-Objective Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2310.16487v1
- Date: Wed, 25 Oct 2023 09:17:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 15:47:14.295728
- Title: Hyperparameter Optimization for Multi-Objective Reinforcement Learning
- Title（参考訳）: 多目的強化学習のためのハイパーパラメータ最適化
- Authors: Florian Felten, Daniel Gareev, El-Ghazali Talbi, Gr\'egoire Danoy
- Abstract要約: 強化学習(Reinforcement Learning, RL)は、複雑な問題に対処するための強力なアプローチである。
近年,多目的強化学習(MORL)の導入により,RLの範囲が拡大した。
実際には、このタスクは難しいことがしばしば証明され、これらのテクニックのデプロイが失敗に終わる。
- 参考スコア（独自算出の注目度）: 0.27309692684728615
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning (RL) has emerged as a powerful approach for tackling
complex problems. The recent introduction of multi-objective reinforcement
learning (MORL) has further expanded the scope of RL by enabling agents to make
trade-offs among multiple objectives. This advancement not only has broadened
the range of problems that can be tackled but also created numerous
opportunities for exploration and advancement. Yet, the effectiveness of RL
agents heavily relies on appropriately setting their hyperparameters. In
practice, this task often proves to be challenging, leading to unsuccessful
deployments of these techniques in various instances. Hence, prior research has
explored hyperparameter optimization in RL to address this concern.
This paper presents an initial investigation into the challenge of
hyperparameter optimization specifically for MORL. We formalize the problem,
highlight its distinctive challenges, and propose a systematic methodology to
address it. The proposed methodology is applied to a well-known environment
using a state-of-the-art MORL algorithm, and preliminary results are reported.
Our findings indicate that the proposed methodology can effectively provide
hyperparameter configurations that significantly enhance the performance of
MORL agents. Furthermore, this study identifies various future research
opportunities to further advance the field of hyperparameter optimization for
MORL.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、複雑な問題に対処するための強力なアプローチである。
近年,多目的強化学習(MORL)の導入により,エージェントが複数の目的に対してトレードオフを行うことで,RLの範囲をさらに拡大した。
この進歩は、対処できる問題の範囲を広げるだけでなく、探査と進歩のための多くの機会を生み出した。
しかし、rlエージェントの有効性はハイパーパラメータの設定に大きく依存している。
実際には、このタスクは難しいことがしばしば証明され、様々なインスタンスでこれらのテクニックのデプロイが失敗に終わる。
したがって、この懸念に対処するために、以前の研究はrlにおけるハイパーパラメータ最適化を探求した。
本稿では,特にmorlに対するハイパーパラメータ最適化の課題について検討する。
我々はこの問題を形式化し,その特徴ある課題を浮き彫りにして,それに対処するための体系的な方法論を提案する。
提案手法を最先端のMORLアルゴリズムを用いてよく知られた環境に適用し,予備的な結果を報告する。
提案手法は,morlエージェントの性能を著しく向上させるハイパーパラメータ構成を効果的に提供できることを示す。
さらに,morlのハイパーパラメータ最適化の分野をさらに進めるための,今後の様々な研究機会を明らかにする。
関連論文リスト
- Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization [55.14484317645865]
我々は,オフライン強化学習タスクにおいて,例外的な品質向上を促す条件拡散モデルを構築した。
本稿では,Promptディフューザがプロンプトチューニングプロセスの堅牢かつ効果的なツールであることを示し,メタRLタスクにおいて高い性能を示す。
論文 参考訳（メタデータ） (2024-11-02T07:38:02Z) - See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。
分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。
本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
論文 参考訳（メタデータ） (2024-07-07T15:44:42Z) - On the consistency of hyper-parameter selection in value-based deep reinforcement learning [13.133865673667394]
本稿では,値に基づく深層強化学習エージェントのハイパーパラメータ選択の信頼性に着目した実証的研究を行う。
我々の研究は、どのハイパーパラメーターがチューニングに最も重要かを確立するのに役立ち、どのチューニングが異なるトレーニング体制間で一貫性を持ち続けるかを明らかにするのに役立ちます。
論文 参考訳（メタデータ） (2024-06-25T13:06:09Z) - Adaptive trajectory-constrained exploration strategy for deep
reinforcement learning [6.589742080994319]
深層強化学習 (DRL) は, まばらさや虚偽の報奨や大きな状態空間を持つタスクにおいて, ハード探索問題に対処する上で, 重大な課題に直面している。
DRLの最適軌道制約探索法を提案する。
2つの大きな2次元グリッドワールド迷路と複数のMuJoCoタスクについて実験を行った。
論文 参考訳（メタデータ） (2023-12-27T07:57:15Z) - The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。
本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
論文 参考訳（メタデータ） (2023-12-01T16:00:25Z) - Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。
本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。
本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T09:05:46Z) - Stepsize Learning for Policy Gradient Methods in Contextual Markov
Decision Processes [35.889129338603446]
ポリシーに基づくアルゴリズムは、モデルフリーRLにおいて最も広く採用されている手法の一つである。
彼らは、一連の不均一なタスクを達成するように頼まれたときに苦労する傾向があります。
メタMDPと呼ばれる新しい定式化を導入し、RLにおける任意のハイパーパラメータ選択問題を解くのに使うことができる。
論文 参考訳（メタデータ） (2023-06-13T12:58:12Z) - Evolving Populations of Diverse RL Agents with MAP-Elites [1.5575376673936223]
政策だけでなく,任意の強化学習(RL)アルゴリズムの利用を可能にするフレキシブルなフレームワークを導入する。
我々は,多数のロボット制御問題に対する広範な数値実験を通じて,我々のフレームワークがもたらすメリットを実証する。
論文 参考訳（メタデータ） (2023-03-09T19:05:45Z) - Evolutionary Reinforcement Learning: A Survey [31.112066295496003]
強化学習(Reinforcement Learning、RL)は、エージェントが環境とのインタラクションを通じて累積報酬を最大化するように訓練する機械学習アプローチである。
本稿では、進化強化学習(EvoRL)と呼ばれる、ECをRLに統合するための最先端手法に関する総合的な調査を紹介する。
論文 参考訳（メタデータ） (2023-03-07T01:38:42Z) - Reinforcement Learning-Empowered Mobile Edge Computing for 6G Edge
Intelligence [76.96698721128406]
モバイルエッジコンピューティング(MEC)は、第5世代(5G)ネットワークなどにおける計算と遅延に敏感なタスクのための新しいパラダイムであると考えた。
本稿では、フリー対応RLに関する総合的な研究レビューと、開発のための洞察を提供する。
論文 参考訳（メタデータ） (2022-01-27T10:02:54Z) - An Asymptotically Optimal Multi-Armed Bandit Algorithm and
Hyperparameter Optimization [48.5614138038673]
本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。
また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。
実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
論文 参考訳（メタデータ） (2020-07-11T03:15:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。