論文の概要: Blending Imitation and Reinforcement Learning for Robust Policy Improvement

• arxiv url: http://arxiv.org/abs/2310.01737v2
• Date: Wed, 4 Oct 2023 07:28:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 10:17:19.241767
• Title: Blending Imitation and Reinforcement Learning for Robust Policy Improvement
• Title（参考訳）: ロバスト政策改善のためのブレンディング模倣と強化学習
• Authors: Xuefeng Liu, Takuma Yoneda, Rick L. Stevens, Matthew R. Walter, Yuxin Chen
• Abstract要約: イミテーション学習(Imitation Learning, IL)は、オークルを用いてサンプル効率を向上させる。 RPIはILの強みを生かし、オラクルクエリを使って探索を容易にする。 RPIは多様なブラックボックスのオラクルから学習し、改善することができる。
• 参考スコア（独自算出の注目度）: 16.588397203235296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While reinforcement learning (RL) has shown promising performance, its sample complexity continues to be a substantial hurdle, restricting its broader application across a variety of domains. Imitation learning (IL) utilizes oracles to improve sample efficiency, yet it is often constrained by the quality of the oracles deployed. which actively interleaves between IL and RL based on an online estimate of their performance. RPI draws on the strengths of IL, using oracle queries to facilitate exploration, an aspect that is notably challenging in sparse-reward RL, particularly during the early stages of learning. As learning unfolds, RPI gradually transitions to RL, effectively treating the learned policy as an improved oracle. This algorithm is capable of learning from and improving upon a diverse set of black-box oracles. Integral to RPI are Robust Active Policy Selection (RAPS) and Robust Policy Gradient (RPG), both of which reason over whether to perform state-wise imitation from the oracles or learn from its own value function when the learner's performance surpasses that of the oracles in a specific state. Empirical evaluations and theoretical analysis validate that RPI excels in comparison to existing state-of-the-art methodologies, demonstrating superior performance across various benchmark domains.
• Abstract（参考訳）: 強化学習(RL)は有望な性能を示しているが、サンプルの複雑さは依然として大きなハードルであり、さまざまな領域にわたる幅広い応用を制限する。 模倣学習(il)は、サンプル効率を改善するためにoracleを利用するが、デプロイされたoracleの品質によって制限されることが多い。 ILとRLを積極的にインターリーブし、そのパフォーマンスをオンラインで見積もっています。 RPIは、特に学習の初期段階において、スパース・リワード RL において顕著に困難な側面である探索を容易にするためにオラクルクエリを使用して、ILの強みを生かしている。 学習が広がるにつれて、RPIは徐々にRLに移行し、学習方針を改良されたオラクルとして効果的に扱う。 このアルゴリズムは、多様なブラックボックスのオラクルから学習し、改善することができる。 RPIと統合されるのは、Robust Active Policy Selection (RAPS) とRobust Policy Gradient (RPG) である。 実験的な評価と理論的解析により、RPIは既存の最先端手法と比較して優れており、様々なベンチマーク領域で優れた性能を示す。

関連論文リスト

• Dynamic Learning Rate for Deep Reinforcement Learning: A Bandit Approach [0.9549646359252346]
  深層強化学習(LRRL)のための動的学習率を提案する。 LRRLは、トレーニング中のエージェントのパフォーマンスに基づいて学習率を選択するメタラーニングアプローチである。 実験の結果,LRRLは深部RLアルゴリズムの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2024-10-16T14:15:28Z)
• LLMs Are In-Context Reinforcement Learners [30.192422586838997]
  大規模言語モデル(LLM)は、コンテキスト内教師あり学習(ICL)を通じて新しいタスクを学習することができる。 この研究は、この能力が文脈内強化学習(ICRL)にまで拡張されるかどうかを研究する。 本稿では、テスト時間計算の増加と計算バウンド近似により、この欠陥に対処するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-07T17:45:00Z)
• Is Value Learning Really the Main Bottleneck in Offline RL? [70.54708989409409]
  ポリシー抽出アルゴリズムの選択はオフラインRLの性能とスケーラビリティに大きく影響することを示す。 本稿では,2つの簡易なテスト時ポリシー改善手法を提案し,これらの手法が性能向上につながることを示す。
  論文  参考訳（メタデータ） (2024-06-13T17:07:49Z)
• Efficient Recurrent Off-Policy RL Requires a Context-Encoder-Specific Learning Rate [4.6659670917171825]
  リカレント強化学習(RL)は、観測不能な状態予測のためのリカレントニューラルネットワーク(RNN)に基づくコンテキストエンコーダである。 従来のRL法は、RNNの勾配不安定性に起因する訓練安定性の問題に直面していた。 本稿では,この問題を解決するために,コンテキストエンコーダ特化学習率(RESeL)を用いたリカレントオフ政治RLを提案する。
  論文  参考訳（メタデータ） (2024-05-24T09:33:47Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Reinforcement Learning-assisted Evolutionary Algorithm: A Survey and Research Opportunities [63.258517066104446]
  進化的アルゴリズムの構成要素として統合された強化学習は,近年,優れた性能を示している。 本稿では,RL-EA 統合手法,RL-EA が採用する RL-EA 支援戦略,および既存文献による適用について論じる。 RL-EAセクションの適用例では、RL-EAのいくつかのベンチマークおよび様々な公開データセットにおける優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-25T15:06:05Z)
• Reinforcement Learning with Stepwise Fairness Constraints [50.538878453547966]
  本稿では,段階的公正性制約を伴う強化学習について紹介する。 我々は、ポリシーの最適性と公正性違反に関して、強力な理論的保証を持つ学習アルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-11-08T04:06:23Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• CARL: A Benchmark for Contextual and Adaptive Reinforcement Learning [45.52724876199729]
  本稿では、文脈RL問題に拡張されたよく知られたRL環境の集合であるCARLについて述べる。 政策学習から状態の表現学習と文脈を分離することで、より一般化が促進されるという最初の証拠を提供する。
  論文  参考訳（メタデータ） (2021-10-05T15:04:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。