論文の概要: A Simple Reward-free Approach to Constrained Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2107.05216v1
• Date: Mon, 12 Jul 2021 06:27:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 16:15:46.304989
• Title: A Simple Reward-free Approach to Constrained Reinforcement Learning
• Title（参考訳）: 制約付き強化学習に対する単純報酬フリーアプローチ
• Authors: Sobhan Miryoosefi, Chi Jin
• Abstract要約: 本稿では, 報酬のないRLと制約付きRLを橋渡しする。特に, 報酬のないRLオラクルが与えられた場合, アプローチ性や制約付きRL問題は, サンプル複雑性において無視できるオーバーヘッドで直接解決できる, メタアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 33.813302183231556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In constrained reinforcement learning (RL), a learning agent seeks to not only optimize the overall reward but also satisfy the additional safety, diversity, or budget constraints. Consequently, existing constrained RL solutions require several new algorithmic ingredients that are notably different from standard RL. On the other hand, reward-free RL is independently developed in the unconstrained literature, which learns the transition dynamics without using the reward information, and thus naturally capable of addressing RL with multiple objectives under the common dynamics. This paper bridges reward-free RL and constrained RL. Particularly, we propose a simple meta-algorithm such that given any reward-free RL oracle, the approachability and constrained RL problems can be directly solved with negligible overheads in sample complexity. Utilizing the existing reward-free RL solvers, our framework provides sharp sample complexity results for constrained RL in the tabular MDP setting, matching the best existing results up to a factor of horizon dependence; our framework directly extends to a setting of tabular two-player Markov games, and gives a new result for constrained RL with linear function approximation.
• Abstract（参考訳）: 制約付き強化学習(RL)では、学習エージェントは全体の報酬を最適化するだけでなく、追加の安全性、多様性、予算制約を満たす。 したがって、既存の制約付きRLソリューションは、標準RLとは異なるいくつかの新しいアルゴリズム的要素を必要とする。 一方、報酬のないRLは、報酬情報を使わずに遷移力学を学習する非制約文学において独立に開発され、共通力学の下で複数の目的を持つRLに自然に対処することができる。 本稿では報酬のないRLと制約付きRLを橋渡しする。 特に、報酬のないRLオラクルが与えられた場合、アプローチ可能性と制約されたRL問題は、サンプルの複雑さにおいて無視できるオーバーヘッドで直接解決できる簡単なメタアルゴリズムを提案する。 既存の報酬のないRLソルバを用いて、我々のフレームワークは、制約付きRLを表付きMDP設定でシャープなサンプル複雑性結果を提供し、最良の既存の結果と地平線依存の要素を一致させ、我々のフレームワークは、表付き2プレーヤマルコフゲームの設定に直接拡張し、線形関数近似による制約付きRLの新しい結果を与える。

関連論文リスト

• Enhancing Spectrum Efficiency in 6G Satellite Networks: A GAIL-Powered Policy Learning via Asynchronous Federated Inverse Reinforcement Learning [67.95280175998792]
  ビームフォーミング,スペクトルアロケーション,リモートユーザ機器(RUE)アソシエイトを最適化するために,GAILを利用した新しいポリシー学習手法を提案する。 手動チューニングなしで報酬関数を自動的に学習するために、逆RL(IRL)を用いる。 提案手法は従来のRL手法よりも優れており,コンバージェンスと報酬値の14.6%の改善が達成されている。
  論文  参考訳（メタデータ） (2024-09-27T13:05:02Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Hybrid Inverse Reinforcement Learning [34.793570631021005]
  逆強化学習による模倣学習は 両刃剣である。 我々は、不要な探索を抑えるために、ハイブリッドRL(オンラインデータとエキスパートデータの混合に関するトレーニング)の使用を提案する。 モデルフリーとモデルベースハイブリッド逆RLアルゴリズムの両方を導出し、強力なポリシー性能を保証する。
  論文  参考訳（メタデータ） (2024-02-13T23:29:09Z)
• More Benefits of Being Distributional: Second-Order Bounds for Reinforcement Learning [58.626683114119906]
  本研究では,分散強化学習(DistRL)がオンラインとオフラインのRLの2次境界を得ることができることを示す。 我々の結果は、低ランク MDP とオフライン RL に対する最初の2階境界である。
  論文  参考訳（メタデータ） (2024-02-11T13:25:53Z)
• RL$^3$: Boosting Meta Reinforcement Learning via RL inside RL$^2$ [12.111848705677142]
  メタRLへの入力において、従来のRLを通してタスク毎に学習されるアクション値を含むハイブリッドアプローチであるRL$3$を提案する。 RL$3$は、RL$2$と比較して、短期的にはデータ効率を保ちながら、長期的には累積的な報酬を多く得ており、アウト・オブ・ディストリビューション・タスクよりも一般化されていることを示す。
  論文  参考訳（メタデータ） (2023-06-28T04:16:16Z)
• Is RLHF More Difficult than Standard RL? [31.972393805014903]
  ヒューマンフィードバック(RLHF)からの強化学習は優先信号から学習し、標準強化学習(RL)は報酬信号から直接学習する。 理論的には、幅広い選好モデルに対して、我々は、報酬に基づくRLのアルゴリズムと技法を直接的に解き、少ないか、余分なコストで解決できることを証明している。
  論文  参考訳（メタデータ） (2023-06-25T03:18:15Z)
• LCRL: Certified Policy Synthesis via Logically-Constrained Reinforcement Learning [78.2286146954051]
  LCRLは未知決定プロセス(MDP)上でのモデルフリー強化学習(RL)アルゴリズムを実装している 本稿では,LCRLの適用性,使いやすさ,拡張性,性能を示すケーススタディを提案する。
  論文  参考訳（メタデータ） (2022-09-21T13:21:00Z)
• Beyond Tabula Rasa: Reincarnating Reinforcement Learning [37.201451908129386]
  タブララ・ラサの学習は、事前の知識がなければ、強化学習(RL)研究における一般的なワークフローである。 我々は、RLエージェントの設計イテレーション間で事前の計算作業を再利用または転送するワークフローとして、RLを再導入する。 既存のアプローチはこの設定で失敗し、それらの制限に対処するための単純なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-03T15:11:10Z)
• Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning [56.17667147101263]
  実世界のタスクでは、強化学習エージェントはトレーニング中に存在しない状況に遭遇する。 信頼性を確保するため、RLエージェントは最悪の状況に対して堅牢性を示す必要がある。 本稿では,Robust Hallucinated Upper-Confidence RL (RH-UCRL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-18T16:50:17Z)
• Hierarchical Reinforcement Learning for Relay Selection and Power Optimization in Two-Hop Cooperative Relay Network [7.5377621697101205]
  本研究では,2ホップ協調型中継ネットワークにおいて,送信電力の制約を考慮に入れた停止確率最小化問題について検討する。 我々は、リレー選択と配電のための戦略を学ぶために強化学習(RL)手法を用いる。 階層型強化学習(HRL)フレームワークとトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-10T04:47:41Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。