論文の概要: Never-Ending Behavior-Cloning Agent for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2403.00336v2
• Date: Fri, 7 Jun 2024 08:10:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 19:47:50.268158
• Title: Never-Ending Behavior-Cloning Agent for Robotic Manipulation
• Title（参考訳）: ロボットマニピュレーションのためのNever-Ending Behavior-Cloning Agent
• Authors: Wenqi Liang, Gan Sun, Qian He, Yu Ren, Jiahua Dong, Yang Cong,
• Abstract要約: NBAgentは言語条件のNever-ending Behavior-cloning Agentである。 新しい3Dシーンセマンティクスとロボット操作スキルの観察知識を、スキル共有とスキル固有属性から学習する。
• 参考スコア（独自算出の注目度）: 38.756955029068294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Relying on multi-modal observations, embodied robots could perform multiple robotic manipulation tasks in unstructured real-world environments. However, most language-conditioned behavior-cloning agents still face existing long-standing challenges, i.e., 3D scene representation and human-level task learning, when adapting into new sequential tasks in practical scenarios. We here investigate these above challenges with NBAgent in embodied robots, a pioneering language-conditioned Never-ending Behavior-cloning Agent. It can continually learn observation knowledge of novel 3D scene semantics and robot manipulation skills from skill-shared and skill-specific attributes, respectively. Specifically, we propose a skill-sharedsemantic rendering module and a skill-shared representation distillation module to effectively learn 3D scene semantics from skill-shared attribute, further tackling 3D scene representation overlooking. Meanwhile, we establish a skill-specific evolving planner to perform manipulation knowledge decoupling, which can continually embed novel skill-specific knowledge like human from latent and low-rank space. Finally, we design a never-ending embodied robot manipulation benchmark, and expensive experiments demonstrate the significant performance of our method. Visual results, code, and dataset are provided at: https://neragent.github.io.
• Abstract（参考訳）: マルチモーダルな観察に基づいて、具体化されたロボットは、非構造的な現実世界環境で複数のロボット操作タスクを実行できる。 しかし、ほとんどの言語条件の行動閉鎖エージェントは、実用シナリオにおいて新しいシーケンシャルなタスクに適応する際に、既存の長年の課題、すなわち3Dシーン表現と人間レベルのタスク学習に直面している。 本稿では、言語条件のNever-ending Behavior-cloning AgentであるエンボディロボットにおけるNBAgentのこれらの課題について考察する。 新規な3Dシーンセマンティクスの観察知識とロボット操作スキルを,それぞれスキル共有属性とスキル固有属性から継続的に学習することができる。 具体的には,スキル共有属性から3Dシーンのセマンティクスを効果的に学習するための,スキル共有セマンティックレンダリングモジュールとスキル共有表現蒸留モジュールを提案する。 一方、我々は、操作知識の疎結合を行うための、スキル固有の進化プランナーを構築し、潜伏空間や低ランク空間からの人間のような新しいスキル固有の知識を継続的に組み込むことができる。 最後に,ロボット操作ベンチマークを無期限に設計し,提案手法の有効性を実証する高価な実験を行った。 ビジュアル結果、コード、データセットは以下の通りである。

関連論文リスト

• Towards Generalizable Zero-Shot Manipulation via Translating Human Interaction Plans [58.27029676638521]
  我々は、人間の受動的ビデオが、そのようなジェネラリストロボットを学習するための豊富なデータ源であることを示す。 我々は、シーンの現在の画像とゴール画像から将来の手やオブジェクトの設定を予測する人間の計画予測器を学習する。 学習システムは、40個のオブジェクトに一般化する16以上の操作スキルを実現できることを示す。
  論文  参考訳（メタデータ） (2023-12-01T18:54:12Z)
• Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
  人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。 我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。 我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
  論文  参考訳（メタデータ） (2023-10-04T17:59:38Z)
• XSkill: Cross Embodiment Skill Discovery [41.624343257852146]
  XSkillは、非ラベルの人間とロボットの操作ビデオから純粋に、スキルプロトタイプと呼ばれるクロスボデーメント表現を発見する模倣学習フレームワークである。 シミュレーションと実環境における実験により,見知らぬタスクのスキル伝達と構成を容易にする技術プロトタイプが発見された。
  論文  参考訳（メタデータ） (2023-07-19T12:51:28Z)
• RoboCat: A Self-Improving Generalist Agent for Robotic Manipulation [33.10577695383743]
  ロボット操作のためのマルチタスク汎用エージェントRoboCatを提案する。 このデータは、シミュレートされた本物のロボットアームから、さまざまな観察とアクションのセットでモーターコントロールスキルの大規模なレパートリーにまたがる。 RoboCatでは、ゼロショットだけでなく、100-1000例のみを用いて適応することで、新しいタスクやロボットに一般化する能力を実証する。
  論文  参考訳（メタデータ） (2023-06-20T17:35:20Z)
• Surfer: Progressive Reasoning with World Models for Robotic Manipulation [51.26109827779267]
  本稿では,新しいシンプルなロボット操作フレームワークであるSurferを紹介する。 Surferは、ロボット操作を視覚シーンの状態伝達として扱い、それをアクションとシーンという2つの部分に分割する。 これは世界モデルに基づいており、ロボット操作を視覚シーンの状態伝達として扱い、アクションとシーンの2つの部分に分けられる。
  論文  参考訳（メタデータ） (2023-06-20T07:06:04Z)
• DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects [8.195608430584073]
  物理シミュレーターにおけるArticulated ObjectによるDexterous操作を含むDexArtという新しいベンチマークを提案する。 本研究の主目的は,未確認対象に対する学習方針の一般化性を評価することである。 一般化を実現するために3次元表現学習を用いた強化学習を用いる。
  論文  参考訳（メタデータ） (2023-05-09T18:30:58Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• Bottom-Up Skill Discovery from Unsegmented Demonstrations for Long-Horizon Robot Manipulation [55.31301153979621]
  我々は,実世界の長距離ロボット操作作業に,スキル発見による取り組みを行う。 未解決のデモンストレーションから再利用可能なスキルのライブラリを学ぶためのボトムアップアプローチを提案する。 提案手法は,多段階操作タスクにおける最先端の模倣学習手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-09-28T16:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。