論文の概要: Blocks Assemble! Learning to Assemble with Large-Scale Structured Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2203.13733v1
• Date: Tue, 15 Mar 2022 18:21:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-03 18:27:39.844589
• Title: Blocks Assemble! Learning to Assemble with Large-Scale Structured Reinforcement Learning
• Title（参考訳）: ブロック集合! 大規模構造強化学習による組み立て学習
• Authors: Seyed Kamyar Seyed Ghasemipour, Daniel Freeman, Byron David, Shixiang (Shane) Gu, Satoshi Kataoka, Igor Mordatch
• Abstract要約: 複数部品の物理的構造の組み立ては、自律ロボット工学にとって価値のある製品である。 子どものおもちゃのキットにインスパイアされた、接続可能な磁石ブロックのセットを備えた自然主義的な物理ベースの環境を導入する。 大規模強化学習とグラフベースの政策の組み合わせが,訓練エージェントの効果的なレシピであることが判明した。
• 参考スコア（独自算出の注目度）: 23.85678777628229
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Assembly of multi-part physical structures is both a valuable end product for autonomous robotics, as well as a valuable diagnostic task for open-ended training of embodied intelligent agents. We introduce a naturalistic physics-based environment with a set of connectable magnet blocks inspired by children's toy kits. The objective is to assemble blocks into a succession of target blueprints. Despite the simplicity of this objective, the compositional nature of building diverse blueprints from a set of blocks leads to an explosion of complexity in structures that agents encounter. Furthermore, assembly stresses agents' multi-step planning, physical reasoning, and bimanual coordination. We find that the combination of large-scale reinforcement learning and graph-based policies -- surprisingly without any additional complexity -- is an effective recipe for training agents that not only generalize to complex unseen blueprints in a zero-shot manner, but even operate in a reset-free setting without being trained to do so. Through extensive experiments, we highlight the importance of large-scale training, structured representations, contributions of multi-task vs. single-task learning, as well as the effects of curriculums, and discuss qualitative behaviors of trained agents.
• Abstract（参考訳）: 多部構成の物理構造の組み立ては、自律ロボット工学にとって価値のある製品であり、エンボディされた知的エージェントのオープンエンドトレーニングのための貴重な診断タスクでもある。 子どものおもちゃのキットにインスパイアされた、接続可能な磁石ブロックのセットを備えた自然主義物理学ベースの環境を導入する。 目標は、ブロックを一連のターゲット青写真に組み立てることである。 この目的の単純さにもかかわらず、一連のブロックから多様な青写真を作る構成的性質は、エージェントが遭遇する構造の複雑さの爆発に繋がる。 さらに、アセンブリはエージェントの多段階計画、物理的推論、二元協調を強調する。 大規模な強化学習とグラフベースのポリシの組み合わせは、追加の複雑さを伴わずに、トレーニングエージェントにとって効果的なレシピであり、ゼロショット方式で複雑な未認識の青写真に一般化するだけでなく、トレーニングを受けることなくリセットフリーの環境でも動作する。 広範な実験を通じて,大規模学習の重要性,構造化表現,マルチタスク対シングルタスク学習の貢献,カリキュラムの効果などを強調し,訓練対象者の質的行動について議論する。

関連論文リスト

• APT: Architectural Planning and Text-to-Blueprint Construction Using Large Language Models for Open-World Agents [8.479128275067742]
  本稿では,自律型エージェントによるMinecraftの複雑な構造構築を可能にする,LLM(Large Language Model)駆動のフレームワークを提案する。 連鎖分解とマルチモーダル入力を用いることで、このフレームワークは詳細なアーキテクチャレイアウトと青写真を生成する。 本エージェントは, メモリとリフレクションモジュールの両方を組み込んで, 生涯学習, 適応的洗練, エラー訂正を容易にする。
  論文  参考訳（メタデータ） (2024-11-26T09:31:28Z)
• AssemblyComplete: 3D Combinatorial Construction with Deep Reinforcement Learning [4.3507834596906125]
  ロボット工学における重要なゴールは、ロボットに現実世界の協調作業、特に自動組み立てに適応するように教えることである。 本稿では, ユニットプリミティブ(レゴブロック)を用いて実演した3次元組立工法を紹介する。 本研究では,ロボットに不完全な組立の目的を理解し,組立を完了するための建設方針を学ぶための2部構成の深層強化学習(DRL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-20T18:51:17Z)
• Reduce, Reuse, Recycle: Categories for Compositional Reinforcement Learning [19.821117942806474]
  我々は圏論のプリズムを通してタスク構成を考察する。 マルコフ決定過程の分類的性質は、複雑なタスクを管理可能なサブタスクに切り離す。 実験結果は強化学習のカテゴリー理論を支持する。
  論文  参考訳（メタデータ） (2024-08-23T21:23:22Z)
• Modular Neural Network Policies for Learning In-Flight Object Catching with a Robot Hand-Arm System [55.94648383147838]
  本稿では,ロボットハンドアームシステムによる飛行物体の捕獲方法の学習を可能にするモジュラーフレームワークを提案する。 本フレームワークは,物体の軌跡予測を学習するオブジェクト状態推定器,(ii)捕捉対象のポーズのスコアとランク付けを学ぶキャッチポーズ品質ネットワーク,(iii)ロボットハンドをキャッチ前ポーズに移動させるように訓練されたリーチ制御ポリシ,(iv)ソフトキャッチ動作を行うように訓練された把握制御ポリシの5つのコアモジュールから構成される。 各モジュールと統合システムのシミュレーションにおいて、我々のフレームワークを広範囲に評価し、飛行における高い成功率を示す。
  論文  参考訳（メタデータ） (2023-12-21T16:20:12Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Policy Architectures for Compositional Generalization in Control [71.61675703776628]
  本稿では,タスクにおけるエンティティベースの構成構造をモデル化するためのフレームワークを提案する。 私たちのポリシーは柔軟で、アクションプリミティブを必要とせずにエンドツーエンドでトレーニングできます。
  論文  参考訳（メタデータ） (2022-03-10T06:44:24Z)
• Brick-by-Brick: Combinatorial Construction with Deep Reinforcement Learning [52.85981207514049]
  我々は,ユニットプリミティブを逐次組み立てるビルディングエージェントを必要とする,新しい定式化,複雑な構成を導入する。 対象物を構築するために,エージェントに対して正確な情報や明示的な情報ではなく,所望の目標(すなわち2次元画像)に関する不完全な知識を提供する。 提案手法は,対象オブジェクトの1つの画像や複数ビューに条件付けされた未確認オブジェクトの構築に成功していることを示す。
  論文  参考訳（メタデータ） (2021-10-29T01:09:51Z)
• A Consciousness-Inspired Planning Agent for Model-Based Reinforcement Learning [104.3643447579578]
  本稿では、その状態の関連部分に動的に対応できるエンドツーエンドのモデルベース深層強化学習エージェントを提案する。 この設計により、エージェントは関連するオブジェクトに参画することで効果的に計画を学ぶことができ、配布外一般化がより良くなる。
  論文  参考訳（メタデータ） (2021-06-03T19:35:19Z)
• CausalWorld: A Robotic Manipulation Benchmark for Causal Structure and Transfer Learning [138.40338621974954]
  CausalWorldは、ロボット操作環境における因果構造と伝達学習のベンチマークである。 タスクは、ブロックのセットから3D形状を構築することで構成される。
  論文  参考訳（メタデータ） (2020-10-08T23:01:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。