論文の概要: User-Oriented Robust Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2202.07301v2
- Date: Thu, 17 Feb 2022 12:10:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-18 12:26:50.816131
- Title: User-Oriented Robust Reinforcement Learning
- Title(参考訳): ユーザ指向ロバスト強化学習
- Authors: Haoyi You, Beichen Yu, Haiming Jin, Zhaoxing Yang, Jiahui Sun, Xinbing
Wang
- Abstract要約: 政策学習のための新しいユーザ指向ロバストRL(UOR-RL)フレームワークを提案する。
ユーザの好みに応じて環境に異なる重みを割り当てる新しいユーザ指向ロバストネス(UOR)メトリックをRLに対して定義する。
UOR-RLトレーニングアルゴリズムは, 環境分布に関する不正確な知識や全く知識がなくても, ほぼ最適ポリシーに収束することを示す。
- 参考スコア(独自算出の注目度): 25.02456730639135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, improving the robustness of policies across different environments
attracts increasing attention in the reinforcement learning (RL) community.
Existing robust RL methods mostly aim to achieve the max-min robustness by
optimizing the policy's performance in the worst-case environment. However, in
practice, a user that uses an RL policy may have different preferences over its
performance across environments. Clearly, the aforementioned max-min robustness
is oftentimes too conservative to satisfy user preference. Therefore, in this
paper, we integrate user preference into policy learning in robust RL, and
propose a novel User-Oriented Robust RL (UOR-RL) framework. Specifically, we
define a new User-Oriented Robustness (UOR) metric for RL, which allocates
different weights to the environments according to user preference and
generalizes the max-min robustness metric. To optimize the UOR metric, we
develop two different UOR-RL training algorithms for the scenarios with or
without a priori known environment distribution, respectively. Theoretically,
we prove that our UOR-RL training algorithms converge to near-optimal policies
even with inaccurate or completely no knowledge about the environment
distribution. Furthermore, we carry out extensive experimental evaluations in 4
MuJoCo tasks. The experimental results demonstrate that UOR-RL is comparable to
the state-of-the-art baselines under the average and worst-case performance
metrics, and more importantly establishes new state-of-the-art performance
under the UOR metric.
- Abstract(参考訳): 近年、様々な環境における政策の堅牢性向上が強化学習(RL)コミュニティの注目を集めている。
既存のロバストなRL手法は主に、最悪の環境下でのポリシーの性能を最適化することで、最大限のロバスト性を達成することを目的としている。
しかし、実際には、rlポリシーを使用するユーザは、環境間のパフォーマンスよりも異なる好みを持つ可能性がある。
上述した最大限の堅牢性は、しばしばユーザーの好みを満たすには保守的すぎる。
そこで本稿では,ロバストなRLにユーザ嗜好を取り入れ,新しいユーザ指向ロバストRL(UOR-RL)フレームワークを提案する。
具体的には、RLのための新しいユーザ指向ロバストネス(UOR)メトリックを定義し、ユーザ好みに応じて異なる重みを環境に割り当て、最大ロバストネスメトリックを一般化する。
UORのパラメータを最適化するために, 既知環境分布を有するシナリオに対して, 2つの異なるUOR-RLトレーニングアルゴリズムを開発した。
理論的には、我々のUOR-RLトレーニングアルゴリズムは、環境分布に関する不正確な、あるいは全く知識のない場合でも、ほぼ最適ポリシーに収束することを示す。
さらに,4つの MuJoCo タスクの広範な実験評価を行った。
実験結果から,UOR-RLは平均および最悪の性能指標の下では最先端のベースラインと同等であり,さらにUOR測定に基づいて新たな最先端のパフォーマンスを確立することが示唆された。
関連論文リスト
- Towards Efficient and Exact Optimization of Language Model Alignment [97.41422112912574]
本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
我々は,EXOがRLアルゴリズムと同じ方向に最適化されることを証明した。
さらに、現実的な人間の嗜好データに対する既存のアプローチよりも、提案手法の利点を実証する。
論文 参考訳(メタデータ) (2024-02-01T18:51:54Z) - Hyperparameters in Reinforcement Learning and How To Tune Them [25.782420501870295]
深層強化学習におけるハイパーパラメータの選択は,エージェントの最終的な性能とサンプル効率に大きな影響を及ぼすことを示す。
我々は,シードのチューニングとテストの分離など,AutoMLから確立されたベストプラクティスを採用することを提案する。
我々は、最先端のHPOツールを、RLアルゴリズムや環境を手作りのツールと比較することで、これをサポートする。
論文 参考訳(メタデータ) (2023-06-02T07:48:18Z) - One-Step Distributional Reinforcement Learning [10.64435582017292]
簡単な一段階分散強化学習(OS-DistrRL)フレームワークを提案する。
当社のアプローチには,政策評価と統制の両面での統一理論があることが示されている。
ほぼ確実に収束解析を行う2つのOS-DistrRLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-27T06:57:00Z) - Train Hard, Fight Easy: Robust Meta Reinforcement Learning [78.16589993684698]
実世界のアプリケーションにおける強化学習(RL)の大きな課題は、環境、タスク、クライアントの違いである。
標準的なMRL法は、タスクよりも平均的なリターンを最適化するが、リスクや難易度の高いタスクでは悪い結果に悩まされることが多い。
本研究では, MRL の頑健な目標を制御レベルで定義する。
ロバストメタRLアルゴリズム(RoML)を用いてデータ非効率に対処する
論文 参考訳(メタデータ) (2023-01-26T14:54:39Z) - Deep Black-Box Reinforcement Learning with Movement Primitives [15.184283143878488]
深部強化学習のための新しいアルゴリズムを提案する。
これは、政治的に成功したディープRLアルゴリズムである、微分可能な信頼領域層に基づいている。
複雑なロボット制御タスクにおいて,ERLアルゴリズムと最先端のステップベースアルゴリズムを比較した。
論文 参考訳(メタデータ) (2022-10-18T06:34:52Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳(メタデータ) (2022-09-24T14:22:29Z) - Multi-fidelity reinforcement learning framework for shape optimization [0.8258451067861933]
マルチファイダリティ・シミュレーション・セッティングを利用する制御型トランスファー学習フレームワークを提案する。
我々の戦略は高レイノルズ数での翼形状最適化問題に対して展開される。
本研究は,本フレームワークが他の科学的DRLシナリオに適用可能であることを示す。
論文 参考訳(メタデータ) (2022-02-22T20:44:04Z) - B-Pref: Benchmarking Preference-Based Reinforcement Learning [84.41494283081326]
我々は、好みベースのRL用に特別に設計されたベンチマークであるB-Prefを紹介する。
このようなベンチマークにおける重要な課題は、候補アルゴリズムをすばやく評価する機能を提供することだ。
B-Prefは、幅広い不合理性を持つ教師をシミュレートすることでこれを緩和する。
論文 参考訳(メタデータ) (2021-11-04T17:32:06Z) - Policy Information Capacity: Information-Theoretic Measure for Task
Complexity in Deep Reinforcement Learning [83.66080019570461]
課題の難易度について,環境にとらわれない,アルゴリズムにとらわれない2つの定量的指標を提案する。
これらの指標は、様々な代替案よりも、正規化タスク可解性スコアとの相関が高いことを示す。
これらのメトリクスは、鍵設計パラメータの高速かつ計算効率の良い最適化にも使用できる。
論文 参考訳(メタデータ) (2021-03-23T17:49:50Z) - Pareto Deterministic Policy Gradients and Its Application in 5G Massive
MIMO Networks [32.099949375036495]
我々は,強化学習(RL)アプローチを用いて,セルロードバランスとネットワークスループットを協調的に最適化することを検討する。
RLの背景にある理論的根拠は、ユーザモビリティとネットワークのダイナミクスを解析的にモデル化することの難しさを回避することである。
この共同最適化を実現するために、ベクトル報酬をRL値ネットワークに統合し、別々のポリシーネットワークを介してRLアクションを実行する。
論文 参考訳(メタデータ) (2020-12-02T15:35:35Z) - Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot
Locomotion [78.46388769788405]
我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。
誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
論文 参考訳(メタデータ) (2020-02-22T10:15:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。