論文の概要: An empirical investigation of the challenges of real-world reinforcement
learning
- arxiv url: http://arxiv.org/abs/2003.11881v2
- Date: Thu, 4 Mar 2021 13:02:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 08:13:14.434671
- Title: An empirical investigation of the challenges of real-world reinforcement
learning
- Title(参考訳): 実世界の強化学習の課題に関する実証的研究
- Authors: Gabriel Dulac-Arnold and Nir Levine and Daniel J. Mankowitz and Jerry
Li and Cosmin Paduraru and Sven Gowal and Todd Hester
- Abstract要約: 我々は、RLが現実世界のシステムに一般的にデプロイされるために必要な困難を具現化する一連の独立した課題を特定し、フォーマル化する。
私たちは、提案された課題に対処するアプローチは、多くの現実世界の問題に容易にデプロイできると信じています。
- 参考スコア(独自算出の注目度): 29.841552004806932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) has proven its worth in a series of artificial
domains, and is beginning to show some successes in real-world scenarios.
However, much of the research advances in RL are hard to leverage in real-world
systems due to a series of assumptions that are rarely satisfied in practice.
In this work, we identify and formalize a series of independent challenges that
embody the difficulties that must be addressed for RL to be commonly deployed
in real-world systems. For each challenge, we define it formally in the context
of a Markov Decision Process, analyze the effects of the challenge on
state-of-the-art learning algorithms, and present some existing attempts at
tackling it. We believe that an approach that addresses our set of proposed
challenges would be readily deployable in a large number of real world
problems. Our proposed challenges are implemented in a suite of continuous
control environments called the realworldrl-suite which we propose an as an
open-source benchmark.
- Abstract(参考訳): 強化学習(RL)は、一連の人工ドメインでその価値を証明し、現実のシナリオでいくつかの成功を示し始めている。
しかしながら、RLにおける研究の進歩の多くは、実際に満たされることがほとんどない一連の仮定のため、現実世界のシステムで活用することが難しい。
本研究は,RLが現実のシステムに一般的に展開されるために必要な困難を具現化した,一連の独立した課題を特定し,定式化する。
それぞれの課題について,マルコフ決定過程の文脈で形式的に定義し,その課題が最先端学習アルゴリズムに与える影響を分析し,それに取り組むための既存の試みを提示する。
私たちの提案する課題に対処するアプローチは、現実世界の多くの問題に対して容易にデプロイできると信じています。
提案する課題は,オープンソースベンチマークとして提案するrealworldrl-suiteと呼ばれる,一連の継続的制御環境に実装されている。
関連論文リスト
- Combinatorial Optimization with Policy Adaptation using Latent Space
Search [46.02102888864839]
本稿では,複雑なNPハード問題を解くために,パフォーマンスアルゴリズムを設計するための新しいアプローチを提案する。
我々の検索戦略は11の標準ベンチマークタスクにおける最先端のアプローチよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-11-13T12:24:54Z) - Staged Reinforcement Learning for Complex Tasks through Decomposed
Environments [4.883558259729863]
RL問題を実問題に近似する2つの方法について議論する。
交通ジャンクションシミュレーションの文脈において、複雑なタスクを複数のサブタスクに分解できれば、これらのタスクを最初に解くのが有利であることを示す。
多エージェントの観点から、我々は、CTDE(Centralized Training Decentralized Execution)と呼ばれる一般的なパラダイムの下で学んだ経験の活用を活用するトレーニング構造化機構を導入する。
論文 参考訳(メタデータ) (2023-11-05T19:43:23Z) - State-wise Safe Reinforcement Learning: A Survey [5.826308050755618]
ステートワイド制約は、現実世界のアプリケーションにおいて最も一般的な制約の1つです。
本稿では,RLにおける状態制約に対処する既存のアプローチについて概説する。
論文 参考訳(メタデータ) (2023-02-06T21:11:29Z) - You Only Live Once: Single-Life Reinforcement Learning [124.1738675154651]
多くの現実世界の状況では、そのタスクを繰り返し実行できるポリシーを学ぶことではなく、単一のトライアルで1回だけ新しいタスクを成功させることが目的である。
エージェントが介入なしにひとつのエピソード内でタスクを完了しなければならない問題設定を形式化する。
本稿では,分散マッチング戦略を用いたQ$-weighted adversarial Learning (QWALE)を提案する。
論文 参考訳(メタデータ) (2022-10-17T09:00:11Z) - A State-Distribution Matching Approach to Non-Episodic Reinforcement
Learning [61.406020873047794]
現実世界の応用への大きなハードルは、エピソード的な環境でのアルゴリズムの開発である。
提案手法は,提案する実証実験における状態分布に一致するように後方方針を訓練する手法である。
実験の結果,MEDALは3つのスパース・リワード連続制御タスクにおいて先行手法と一致し,性能が向上することがわかった。
論文 参考訳(メタデータ) (2022-05-11T00:06:29Z) - Autonomous Reinforcement Learning: Formalism and Benchmarking [106.25788536376007]
人間や動物が行うような現実世界の具体的学習は、連続的で非エポゾディックな世界にある。
RLの一般的なベンチマークタスクはエピソジックであり、試行錯誤によってエージェントに複数の試行を行う環境がリセットされる。
この相違は、擬似環境向けに開発されたRLアルゴリズムを現実世界のプラットフォーム上で実行しようとする場合、大きな課題となる。
論文 参考訳(メタデータ) (2021-12-17T16:28:06Z) - Evaluating the progress of Deep Reinforcement Learning in the real
world: aligning domain-agnostic and domain-specific research [0.0]
深層強化学習(Dep Reinforcement Learning, DRL)は、多くの現実世界の自律システムを改善するための潜在的なフレームワークと考えられている。
我々は、ドメインに依存しないコミュニティとドメイン固有のコミュニティの両方の研究成果をレビューし、評価することで、この問題に焦点を当てる。
論文 参考訳(メタデータ) (2021-07-07T04:45:46Z) - Continual World: A Robotic Benchmark For Continual Reinforcement
Learning [17.77261981963946]
正しいトレードオフを理解することは概念的にも計算的にも困難である、と私たちは主張する。
テストベッドとしてMeta-World上に構築された,現実的で有意義に多様なロボットタスクからなるベンチマークを提案する。
論文 参考訳(メタデータ) (2021-05-23T11:33:04Z) - How to Train Your Robot with Deep Reinforcement Learning; Lessons We've
Learned [111.06812202454364]
本稿では,ロボット深部RLのケーススタディをいくつか紹介する。
深部RLにおける一般的な課題と,それらの課題について論じる。
また、他の卓越した課題についても概説し、その多くが現実世界のロボティクスの設定に特有のものである。
論文 参考訳(メタデータ) (2021-02-04T22:09:28Z) - Curriculum Learning for Reinforcement Learning Domains: A Framework and
Survey [53.73359052511171]
強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。
本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
論文 参考訳(メタデータ) (2020-03-10T20:41:24Z) - Soft Hindsight Experience Replay [77.99182201815763]
ソフト・ハイドサイト・エクスペリエンス・リプレイ(SHER)は,HERと最大エントロピー強化学習(MERL)に基づく新しいアプローチである
オープンAIロボット操作タスクにおけるSHERの評価を行った。
論文 参考訳(メタデータ) (2020-02-06T03:57:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。