論文の概要: An empirical investigation of the challenges of real-world reinforcement learning

• arxiv url: http://arxiv.org/abs/2003.11881v2
• Date: Thu, 4 Mar 2021 13:02:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 08:13:14.434671
• Title: An empirical investigation of the challenges of real-world reinforcement learning
• Title（参考訳）: 実世界の強化学習の課題に関する実証的研究
• Authors: Gabriel Dulac-Arnold and Nir Levine and Daniel J. Mankowitz and Jerry Li and Cosmin Paduraru and Sven Gowal and Todd Hester
• Abstract要約: 我々は、RLが現実世界のシステムに一般的にデプロイされるために必要な困難を具現化する一連の独立した課題を特定し、フォーマル化する。 私たちは、提案された課題に対処するアプローチは、多くの現実世界の問題に容易にデプロイできると信じています。
• 参考スコア（独自算出の注目度）: 29.841552004806932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) has proven its worth in a series of artificial domains, and is beginning to show some successes in real-world scenarios. However, much of the research advances in RL are hard to leverage in real-world systems due to a series of assumptions that are rarely satisfied in practice. In this work, we identify and formalize a series of independent challenges that embody the difficulties that must be addressed for RL to be commonly deployed in real-world systems. For each challenge, we define it formally in the context of a Markov Decision Process, analyze the effects of the challenge on state-of-the-art learning algorithms, and present some existing attempts at tackling it. We believe that an approach that addresses our set of proposed challenges would be readily deployable in a large number of real world problems. Our proposed challenges are implemented in a suite of continuous control environments called the realworldrl-suite which we propose an as an open-source benchmark.
• Abstract（参考訳）: 強化学習(RL)は、一連の人工ドメインでその価値を証明し、現実のシナリオでいくつかの成功を示し始めている。 しかしながら、RLにおける研究の進歩の多くは、実際に満たされることがほとんどない一連の仮定のため、現実世界のシステムで活用することが難しい。 本研究は,RLが現実のシステムに一般的に展開されるために必要な困難を具現化した,一連の独立した課題を特定し,定式化する。 それぞれの課題について,マルコフ決定過程の文脈で形式的に定義し,その課題が最先端学習アルゴリズムに与える影響を分析し,それに取り組むための既存の試みを提示する。 私たちの提案する課題に対処するアプローチは、現実世界の多くの問題に対して容易にデプロイできると信じています。 提案する課題は,オープンソースベンチマークとして提案するrealworldrl-suiteと呼ばれる,一連の継続的制御環境に実装されている。

関連論文リスト

• Towards Sample-Efficiency and Generalization of Transfer and Inverse Reinforcement Learning: A Comprehensive Literature Review [50.67937325077047]
  本稿では,転送および逆強化学習(T-IRL)によるRLアルゴリズムのサンプル効率と一般化を実現するための総合的なレビューを行う。 以上の結果から,最近の研究成果の大部分は,人間のループとシム・トゥ・リアル戦略を活用することで,上記の課題に対処していることが示唆された。 IRL構造の下では、経験の少ない移行と、そのようなフレームワークのマルチエージェントおよびマルチインテンション問題への拡張を必要とするトレーニングスキームが近年研究者の優先事項となっている。
  論文  参考訳（メタデータ） (2024-11-15T15:18:57Z)
• A Comprehensive Survey on Inverse Constrained Reinforcement Learning: Definitions, Progress and Challenges [27.681999552782372]
  逆制約強化学習(英: Inverse Constrained Reinforcement Learning, ICRL)は、暗黙の制約を推論し、その実証データから専門家エージェントが続くタスクである。 本論では, ICRLの最近の進歩について分類学的に考察する。 ICRLの定義、進歩、重要な課題を理解しようとする初心者だけでなく、機械学習の研究者や実践者にとっても包括的な参照として機能する。
  論文  参考訳（メタデータ） (2024-09-11T18:49:03Z)
• Aquatic Navigation: A Challenging Benchmark for Deep Reinforcement Learning [53.3760591018817]
  ゲームエンジンとDeep Reinforcement Learningの統合の最近の進歩を利用して,水上ナビゲーションのための新しいベンチマーク環境を提案する。 具体的には、最も広く受け入れられているアルゴリズムの一つであるPPOに着目し、先進的なトレーニング手法を提案する。 実験により,これらの成分をうまく組み合わせることで,有望な結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-30T23:20:23Z)
• Staged Reinforcement Learning for Complex Tasks through Decomposed Environments [4.883558259729863]
  RL問題を実問題に近似する2つの方法について議論する。 交通ジャンクションシミュレーションの文脈において、複雑なタスクを複数のサブタスクに分解できれば、これらのタスクを最初に解くのが有利であることを示す。 多エージェントの観点から、我々は、CTDE(Centralized Training Decentralized Execution)と呼ばれる一般的なパラダイムの下で学んだ経験の活用を活用するトレーニング構造化機構を導入する。
  論文  参考訳（メタデータ） (2023-11-05T19:43:23Z)
• State-wise Safe Reinforcement Learning: A Survey [5.826308050755618]
  ステートワイド制約は、現実世界のアプリケーションにおいて最も一般的な制約の1つです。 本稿では,RLにおける状態制約に対処する既存のアプローチについて概説する。
  論文  参考訳（メタデータ） (2023-02-06T21:11:29Z)
• You Only Live Once: Single-Life Reinforcement Learning [124.1738675154651]
  多くの現実世界の状況では、そのタスクを繰り返し実行できるポリシーを学ぶことではなく、単一のトライアルで1回だけ新しいタスクを成功させることが目的である。 エージェントが介入なしにひとつのエピソード内でタスクを完了しなければならない問題設定を形式化する。 本稿では,分散マッチング戦略を用いたQ$-weighted adversarial Learning (QWALE)を提案する。
  論文  参考訳（メタデータ） (2022-10-17T09:00:11Z)
• Autonomous Reinforcement Learning: Formalism and Benchmarking [106.25788536376007]
  人間や動物が行うような現実世界の具体的学習は、連続的で非エポゾディックな世界にある。 RLの一般的なベンチマークタスクはエピソジックであり、試行錯誤によってエージェントに複数の試行を行う環境がリセットされる。 この相違は、擬似環境向けに開発されたRLアルゴリズムを現実世界のプラットフォーム上で実行しようとする場合、大きな課題となる。
  論文  参考訳（メタデータ） (2021-12-17T16:28:06Z)
• Continual World: A Robotic Benchmark For Continual Reinforcement Learning [17.77261981963946]
  正しいトレードオフを理解することは概念的にも計算的にも困難である、と私たちは主張する。 テストベッドとしてMeta-World上に構築された,現実的で有意義に多様なロボットタスクからなるベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-05-23T11:33:04Z)
• How to Train Your Robot with Deep Reinforcement Learning; Lessons We've Learned [111.06812202454364]
  本稿では,ロボット深部RLのケーススタディをいくつか紹介する。 深部RLにおける一般的な課題と,それらの課題について論じる。 また、他の卓越した課題についても概説し、その多くが現実世界のロボティクスの設定に特有のものである。
  論文  参考訳（メタデータ） (2021-02-04T22:09:28Z)
• Soft Hindsight Experience Replay [77.99182201815763]
  ソフト・ハイドサイト・エクスペリエンス・リプレイ(SHER)は,HERと最大エントロピー強化学習(MERL)に基づく新しいアプローチである オープンAIロボット操作タスクにおけるSHERの評価を行った。
  論文  参考訳（メタデータ） (2020-02-06T03:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。