論文の概要: Beyond Tabula-Rasa: a Modular Reinforcement Learning Approach for Physically Embedded 3D Sokoban

• arxiv url: http://arxiv.org/abs/2010.01298v1
• Date: Sat, 3 Oct 2020 07:48:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 08:35:32.658003
• Title: Beyond Tabula-Rasa: a Modular Reinforcement Learning Approach for Physically Embedded 3D Sokoban
• Title（参考訳）: Beyond Tabula-Rasa: 物理埋め込み3Dソコバンのためのモジュール強化学習アプローチ
• Authors: Peter Karkus, Mehdi Mirza, Arthur Guez, Andrew Jaegle, Timothy Lillicrap, Lars Buesing, Nicolas Heess, Theophane Weber
• Abstract要約: 深層強化学習(Deep reinforcement Learning, RL)は、視覚的、抽象的、または物理的推論の観点から、要求されるタスクに取り組む。 我々は、Mujobanのような統合タスクが、センスプラン実行階層で一緒にモジュールによって解決できるかどうかを考察する。 モジュラRLアプローチはムジョバンの最先端のモノリシックRLエージェントよりも劇的に優れています。
• 参考スコア（独自算出の注目度）: 28.350179731711343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intelligent robots need to achieve abstract objectives using concrete, spatiotemporally complex sensory information and motor control. Tabula rasa deep reinforcement learning (RL) has tackled demanding tasks in terms of either visual, abstract, or physical reasoning, but solving these jointly remains a formidable challenge. One recent, unsolved benchmark task that integrates these challenges is Mujoban, where a robot needs to arrange 3D warehouses generated from 2D Sokoban puzzles. We explore whether integrated tasks like Mujoban can be solved by composing RL modules together in a sense-plan-act hierarchy, where modules have well-defined roles similarly to classic robot architectures. Unlike classic architectures that are typically model-based, we use only model-free modules trained with RL or supervised learning. We find that our modular RL approach dramatically outperforms the state-of-the-art monolithic RL agent on Mujoban. Further, learned modules can be reused when, e.g., using a different robot platform to solve the same task. Together our results give strong evidence for the importance of research into modular RL designs. Project website: https://sites.google.com/view/modular-rl/
• Abstract（参考訳）: 知的ロボットは、具体的で時空間的に複雑な感覚情報と運動制御を用いて抽象的な目的を達成する必要がある。 タブララサ深層強化学習(RL)は視覚的、抽象的、身体的推論のいずれにおいても要求される課題に取り組んできたが、これらを共同で解決することは依然として困難な課題である。 この課題を統合した最近の未解決のベンチマークタスクは、ロボットが2Dソコバンパズルから生成された3D倉庫を配置する必要があるMujobanである。 我々は,モジュールが従来のロボットアーキテクチャとよく似た役割を担っている感覚計画的階層でRLモジュールを組み立てることで,Mujobanのような統合タスクが解決できるかどうかを考察する。 典型的なモデルベースアーキテクチャとは異なり、rlや教師付き学習でトレーニングされたモデルフリーのモジュールのみを使用します。 モジュラRLアプローチはムジョバンの最先端のモノリシックRLエージェントよりも劇的に優れています。 さらに、学習されたモジュールは、例えば、異なるロボットプラットフォームを使用して同じタスクを解決する場合に再利用することができる。 この結果はモジュラーRL設計の研究の重要性を強く裏付けるものである。 プロジェクトウェブサイト: https://sites.google.com/view/modular-rl/

関連論文リスト

• Integrating Reinforcement Learning with Foundation Models for Autonomous Robotics: Methods and Perspectives [0.746823468023145]
  強化学習(Reinforcement Learning, RL)は、エージェントがインタラクションやフィードバックを通じて学習することを可能にする。 このシナジーは、ロボティクスを含む様々な分野に革命をもたらしている。 本稿では,アクションプランナとしてのファンデーションモデルの利用,ロボット固有のファンデーションモデルの開発,およびFMとRLを組み合わせることによる相互利益について分析する。
  論文  参考訳（メタデータ） (2024-10-21T18:27:48Z)
• Drama: Mamba-Enabled Model-Based Reinforcement Learning Is Sample and Parameter Efficient [9.519619751861333]
  状態空間モデル(SSM)をベースとした世界モデルを提案する。 長期依存関係を効果的にキャプチャしながら、メモリと計算の複雑さを$O(n)$達成します。 このモデルはアクセス可能で、市販のラップトップでトレーニングすることができる。
  論文  参考訳（メタデータ） (2024-10-11T15:10:40Z)
• MeMo: Meaningful, Modular Controllers via Noise Injection [25.541496793132183]
  新たなロボットが同じパーツから構築された場合,モジュール型コントローラを再利用することで,その制御を迅速に学習できることが示される。 私たちはMeMoと呼ばれるフレームワークでこれを実現し、Meは(Me)有界で(Mo)有界なコントローラーを学習します。 我々は,ロボット形態変化の簡易化を目標として,移動環境と把握環境の枠組みをベンチマークした。
  論文  参考訳（メタデータ） (2024-05-24T18:39:20Z)
• Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
  人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である 本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:57:57Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering [49.78647219715034]
  本稿では,SAM-RL と呼ばれる感性認識モデルに基づく強化学習システムを提案する。 SAM-RLは、センサーを意識した学習パイプラインによって、ロボットがタスクプロセスを監視するための情報的視点を選択することを可能にする。 我々は,ロボット組立,ツール操作,変形可能なオブジェクト操作という3つの操作タスクを達成するための実世界の実験に,我々のフレームワークを適用した。
  論文  参考訳（メタデータ） (2022-10-27T05:30:43Z)
• RL-DARTS: Differentiable Architecture Search for Reinforcement Learning [62.95469460505922]
  我々は、強化学習(RL)における微分可能なアーキテクチャ探索(DARTS)の最初の応用の1つであるRL-DARTSを紹介する。 画像エンコーダをDARTSスーパーネットに置き換えることにより、検索方法はサンプリング効率が高く、余分な計算資源が最小限必要であり、また、既存のコードに小さな変更を加える必要がなく、オフ・ポリティクスとオン・ポリティクスのRLアルゴリズムとも互換性がある。 スーパーネットはより優れたセルを徐々に学習し、手作業で設計したポリシーに対して高い競争力を持つ代替アーキテクチャへとつながり、RLポリシーの以前の設計選択も検証できることを示す。
  論文  参考訳（メタデータ） (2021-06-04T03:08:43Z)
• Deep Imitation Learning for Bimanual Robotic Manipulation [70.56142804957187]
  本稿では,ロボットによるバイマニュアル操作のための深層模倣学習フレームワークを提案する。 中心となる課題は、操作スキルを異なる場所にあるオブジェクトに一般化することである。 i)マルチモーダルダイナミクスを要素運動プリミティブに分解し、(ii)リカレントグラフニューラルネットワークを用いて各プリミティブをパラメータ化して相互作用を捕捉し、(iii)プリミティブを逐次的に構成する高レベルプランナと、プリミティブダイナミクスと逆運動学制御を組み合わせた低レベルコントローラを統合することを提案する。
  論文  参考訳（メタデータ） (2020-10-11T01:40:03Z)
• Integrating Distributed Architectures in Highly Modular RL Libraries [4.297070083645049]
  ほとんどの人気のある強化学習ライブラリは、高度にモジュール化されたエージェントの構成性を主張している。 本稿では、RLエージェントを独立した再利用可能なコンポーネントによって異なるスケールで定義できる汎用的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-06T10:22:07Z)
• Meta-Reinforcement Learning for Robotic Industrial Insertion Tasks [70.56451186797436]
  本研究では,メタ強化学習を用いてシミュレーションの課題の大部分を解決する方法について検討する。 エージェントを訓練して現実の挿入タスクを成功させる手法を実証する。
  論文  参考訳（メタデータ） (2020-04-29T18:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。