論文の概要: Never-Ending Embodied Robot Learning
- arxiv url: http://arxiv.org/abs/2403.00336v1
- Date: Fri, 1 Mar 2024 07:51:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 17:55:25.733083
- Title: Never-Ending Embodied Robot Learning
- Title(参考訳): ノーエンディング型ロボット学習
- Authors: Wenqi Liang, Gan Sun, Qian He, Yu Ren, Jiahua Dong and Yang Cong
- Abstract要約: NBCagentは、エンボディロボットのためのNever-ending Behavior-Cloningエージェントである。
スキル特化属性とスキル共有属性から、新しいロボット操作スキルの観察知識を学ぶ。
- 参考スコア(独自算出の注目度): 41.06748273499587
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Relying on large language models (LLMs), embodied robots could perform
complex multimodal robot manipulation tasks from visual observations with
powerful generalization ability. However, most visual behavior-cloning agents
suffer from manipulation performance degradation and skill knowledge forgetting
when adapting into a series of challenging unseen tasks. We here investigate
the above challenge with NBCagent in embodied robots, a pioneering
language-conditioned Never-ending Behavior-Cloning agent, which can continually
learn observation knowledge of novel robot manipulation skills from
skill-specific and skill-shared attributes. Specifically, we establish a
skill-specific evolving planner to perform knowledge decoupling, which can
continually embed novel skill-specific knowledge in our NBCagent agent from
latent and low-rank space. Meanwhile, we propose a skill-shared semantics
rendering module and a skill-shared representation distillation module to
effectively transfer anti-forgetting skill-shared knowledge, further tackling
catastrophic forgetting on old skills from semantics and representation
aspects. Finally, we design a continual embodied robot manipulation benchmark,
and several expensive experiments demonstrate the significant performance of
our method. Visual results, code, and dataset are provided at:
https://neragent.github.io.
- Abstract(参考訳): 大型言語モデル(llm)に依存することで、身体化されたロボットは、強力な一般化能力を持つ視覚観察から複雑なマルチモーダルロボット操作タスクを実行することができる。
しかし、ほとんどの視覚行動閉鎖エージェントは、一連の難解なタスクに適応する際に、操作性能劣化とスキル知識を忘れてしまう。
本研究は,新たなロボット操作スキルの観察知識を,スキル特性とスキル共有属性から継続的に学習できる言語条件付き永遠行動遮蔽剤であるembodied robotsにおけるnbcagentの課題について検討する。
具体的には,nbcagentエージェントに潜伏空間と低ランク空間から新たなスキル特化知識を継続的に組み込むことのできる,知識分離を行うスキル特化プランナーを構築した。
一方,我々は,スキル共有型意味表現モジュールとスキル共有型表現蒸留モジュールを提案し,スキル共有型知識を効果的に伝達する。
最後に,ロボット操作を連続的に実施するベンチマークを設計し,提案手法の有効性を実証する高価な実験を行った。
視覚的な結果、コード、データセットは、https://neragent.github.io.org/で提供される。
関連論文リスト
- Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。
我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。
我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
論文 参考訳(メタデータ) (2023-10-04T17:59:38Z) - XSkill: Cross Embodiment Skill Discovery [41.624343257852146]
XSkillは、非ラベルの人間とロボットの操作ビデオから純粋に、スキルプロトタイプと呼ばれるクロスボデーメント表現を発見する模倣学習フレームワークである。
シミュレーションと実環境における実験により,見知らぬタスクのスキル伝達と構成を容易にする技術プロトタイプが発見された。
論文 参考訳(メタデータ) (2023-07-19T12:51:28Z) - RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in
One-Shot [56.130215236125224]
オープンドメインでのロボット操作における重要な課題は、ロボットの多様性と一般化可能なスキルの獲得方法である。
単発模倣学習の最近の研究は、訓練されたポリシーを実証に基づく新しいタスクに移行する可能性を示唆している。
本稿では,エージェントがマルチモーダルな知覚で数百の現実世界のスキルを一般化する可能性を解き放つことを目的とする。
論文 参考訳(メタデータ) (2023-07-02T15:33:31Z) - RoboCat: A Self-Improving Generalist Agent for Robotic Manipulation [33.10577695383743]
ロボット操作のためのマルチタスク汎用エージェントRoboCatを提案する。
このデータは、シミュレートされた本物のロボットアームから、さまざまな観察とアクションのセットでモーターコントロールスキルの大規模なレパートリーにまたがる。
RoboCatでは、ゼロショットだけでなく、100-1000例のみを用いて適応することで、新しいタスクやロボットに一般化する能力を実証する。
論文 参考訳(メタデータ) (2023-06-20T17:35:20Z) - Scaling Robot Learning with Semantically Imagined Experience [21.361979238427722]
ロボット学習の最近の進歩は、ロボットが操作タスクを実行できることを約束している。
この進歩に寄与する要因の1つは、モデルのトレーニングに使用されるロボットデータのスケールである。
本稿では,コンピュータビジョンや自然言語処理に広く用いられているテキスト・ツー・イメージ基盤モデルを利用した代替手法を提案する。
論文 参考訳(メタデータ) (2023-02-22T18:47:51Z) - Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。
学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文 参考訳(メタデータ) (2022-11-16T16:26:48Z) - Bottom-Up Skill Discovery from Unsegmented Demonstrations for
Long-Horizon Robot Manipulation [55.31301153979621]
我々は,実世界の長距離ロボット操作作業に,スキル発見による取り組みを行う。
未解決のデモンストレーションから再利用可能なスキルのライブラリを学ぶためのボトムアップアプローチを提案する。
提案手法は,多段階操作タスクにおける最先端の模倣学習手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2021-09-28T16:18:54Z) - Actionable Models: Unsupervised Offline Reinforcement Learning of
Robotic Skills [93.12417203541948]
与えられたデータセットの任意の目標状態に到達するために学習することによって、環境の機能的な理解を学ぶ目的を提案する。
提案手法は,高次元カメラ画像上で動作し,これまで見つからなかったシーンやオブジェクトに一般化した実ロボットの様々なスキルを学習することができる。
論文 参考訳(メタデータ) (2021-04-15T20:10:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。