論文の概要: Model-based versus Model-free Deep Reinforcement Learning for Autonomous
Racing Cars
- arxiv url: http://arxiv.org/abs/2103.04909v1
- Date: Mon, 8 Mar 2021 17:15:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-10 07:06:17.030488
- Title: Model-based versus Model-free Deep Reinforcement Learning for Autonomous
Racing Cars
- Title(参考訳): 自律走行車におけるモデルベース対モデルフリーディープ強化学習
- Authors: Axel Brunnbauer, Luigi Berducci, Andreas Brandst\"atter, Mathias
Lechner, Ramin Hasani, Daniela Rus, Radu Grosu
- Abstract要約: 本稿では,モデルに基づく深層強化学習エージェントが現実世界の自律車両制御タスクに一般化する方法について検討する。
本稿では,想像力で学習可能なモデルベースエージェント,パフォーマンス,サンプル効率,タスク完了,一般化に関して,モデルフリーエージェントを実質的に上回っていることを示す。
- 参考スコア(独自算出の注目度): 46.64253693115981
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the rich theoretical foundation of model-based deep reinforcement
learning (RL) agents, their effectiveness in real-world robotics-applications
is less studied and understood. In this paper, we, therefore, investigate how
such agents generalize to real-world autonomous-vehicle control-tasks, where
advanced model-free deep RL algorithms fail. In particular, we set up a series
of time-lap tasks for an F1TENTH racing robot, equipped with high-dimensional
LiDAR sensors, on a set of test tracks with a gradual increase in their
complexity. In this continuous-control setting, we show that model-based agents
capable of learning in imagination, substantially outperform model-free agents
with respect to performance, sample efficiency, successful task completion, and
generalization. Moreover, we show that the generalization ability of
model-based agents strongly depends on the observation-model choice. Finally,
we provide extensive empirical evidence for the effectiveness of model-based
agents provided with long enough memory horizons in sim2real tasks.
- Abstract(参考訳): モデルベース深層強化学習(rl)エージェントの豊富な理論的基礎にもかかわらず、実世界のロボティクス応用におけるその効果は研究や理解が進んでいない。
そこで本論文では,このようなエージェントが現実世界の自律車両制御タスクに一般化する方法について検討する。
特に,高次元lidarセンサを搭載したf110レースロボットのための一連のタイムラッピングタスクを,その複雑さを徐々に増やしながら,一連のテストトラックに設定した。
この連続制御設定では、モデルベースエージェントが、性能、サンプル効率、タスク完了成功、一般化に関して、モデルフリーエージェントを著しく上回り、想像力で学習できることを示す。
さらに,モデルベースエージェントの一般化能力は観測モデル選択に大きく依存することを示した。
最後に、sim2realタスクにおいて十分なメモリホライズンズを提供するモデルベースエージェントの有効性に関する広範な実証的証拠を提供する。
関連論文リスト
- HarmonyDream: Task Harmonization Inside World Models [97.08182798788484]
モデルベース強化学習(MBRL)は、サンプル効率の学習を約束する。
本稿では,タスク調和性を維持するために損失係数を自動的に調整する,シンプルで効果的なアプローチであるHarmonyDreamを提案する。
実験の結果,HarmonyDreamをベースとしたMBRL法では,視覚ロボティクスの絶対性能が10%-69%向上した。
論文 参考訳(メタデータ) (2023-09-30T11:38:13Z) - Simplified Temporal Consistency Reinforcement Learning [19.814047499837084]
本稿では,潜時整合性によって訓練された潜時力学モデルに依存する単純な表現学習手法が,高性能なRLには十分であることを示す。
提案手法は,モデルフリー手法を大きなマージンで上回り,モデルベース手法のサンプル効率を2.4倍高速にトレーニングしながら比較する。
論文 参考訳(メタデータ) (2023-06-15T19:37:43Z) - Sense, Imagine, Act: Multimodal Perception Improves Model-Based
Reinforcement Learning for Head-to-Head Autonomous Racing [10.309579267966361]
モデルベース強化学習(MBRL)技術は、最近、現実の自律レースに有望な結果をもたらした。
本稿では,F1TENTH Gymから収集した自家中心型LiDARとRGBカメラ観測を組み合わせた自己教師型センサ融合手法を提案する。
その結果、ドリーマーのエージェントは衝突を安全に回避し、ゼロショット・ヘッド・ツー・ヘッド・オートレースでテストされた他のベースラインと比較すると、最も多くのレースに勝利した。
論文 参考訳(メタデータ) (2023-05-08T14:49:02Z) - Learning a model is paramount for sample efficiency in reinforcement
learning control of PDEs [5.488334211013093]
RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。
また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
論文 参考訳(メタデータ) (2023-02-14T16:14:39Z) - MoDem: Accelerating Visual Model-Based Reinforcement Learning with
Demonstrations [36.44386146801296]
サンプルの低さは、現実世界のアプリケーションに深層強化学習(RL)アルゴリズムをデプロイする上で、依然として最大の課題である。
モデルベースRLのサンプル効率を劇的に向上させることができるのは,ごく少数のデモンストレーションのみである。
本研究では,3つの複雑なビジュオモータ制御領域を実験的に検討し,スパース報酬タスクの完了に150%-250%成功していることを確認した。
論文 参考訳(メタデータ) (2022-12-12T04:28:50Z) - Simplifying Model-based RL: Learning Representations, Latent-space
Models, and Policies with One Objective [142.36200080384145]
自己整合性を維持しつつ高いリターンを達成するために,潜在空間モデルとポリシーを協調的に最適化する単一目的を提案する。
得られたアルゴリズムは, モデルベースおよびモデルフリーRL手法のサンプル効率に適合するか, 改善することを示した。
論文 参考訳(メタデータ) (2022-09-18T03:51:58Z) - Multitask Adaptation by Retrospective Exploration with Learned World
Models [77.34726150561087]
本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。
このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
論文 参考訳(メタデータ) (2021-10-25T20:02:57Z) - Online reinforcement learning with sparse rewards through an active
inference capsule [62.997667081978825]
本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。
我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。
また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
論文 参考訳(メタデータ) (2021-06-04T10:03:36Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳(メタデータ) (2020-07-14T16:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。