論文の概要: RoboCat: A Self-Improving Foundation Agent for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2306.11706v1
• Date: Tue, 20 Jun 2023 17:35:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 13:17:14.999009
• Title: RoboCat: A Self-Improving Foundation Agent for Robotic Manipulation
• Title（参考訳）: RoboCat:ロボットマニピュレーションのための自己改善基盤エージェント
• Authors: Konstantinos Bousmalis, Giulia Vezzani, Dushyant Rao, Coline Devin, Alex X. Lee, Maria Bauza, Todor Davchev, Yuxiang Zhou, Agrim Gupta, Akhil Raju, Antoine Laurens, Claudio Fantacci, Valentin Dalibard, Martina Zambelli, Murilo Martins, Rugile Pevceviciute, Michiel Blokzijl, Misha Denil, Nathan Batchelor, Thomas Lampe, Emilio Parisotto, Konrad \.Zo{\l}na, Scott Reed, Sergio G\'omez Colmenarejo, Jon Scholz, Abbas Abdolmaleki, Oliver Groth, Jean-Baptiste Regli, Oleg Sushkov, Tom Roth\"orl, Jos\'e Enrique Chen, Yusuf Aytar, Dave Barker, Joy Ortiz, Martin Riedmiller, Jost Tobias Springenberg, Raia Hadsell, Francesco Nori, Nicolas Heess
• Abstract要約: RoboCatは視覚的目標条件決定変換器で、多身体動作の視覚的体験を消費することができる。 ゼロショットだけでなく、100-1000例のみを用いて適応することで、新しいタスクやロボットに一般化できることを実証する。 トレーニングデータの成長と多様化に伴い、RoboCatはクロスタスク転送の兆候を示すだけでなく、新しいタスクに適応する上で効率も向上する。
• 参考スコア（独自算出の注目度）: 36.72696459702491
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to leverage heterogeneous robotic experience from different robots and tasks to quickly master novel skills and embodiments has the potential to transform robot learning. Inspired by recent advances in foundation models for vision and language, we propose a foundation agent for robotic manipulation. This agent, named RoboCat, is a visual goal-conditioned decision transformer capable of consuming multi-embodiment action-labelled visual experience. This data spans a large repertoire of motor control skills from simulated and real robotic arms with varying sets of observations and actions. With RoboCat, we demonstrate the ability to generalise to new tasks and robots, both zero-shot as well as through adaptation using only 100--1000 examples for the target task. We also show how a trained model itself can be used to generate data for subsequent training iterations, thus providing a basic building block for an autonomous improvement loop. We investigate the agent's capabilities, with large-scale evaluations both in simulation and on three different real robot embodiments. We find that as we grow and diversify its training data, RoboCat not only shows signs of cross-task transfer, but also becomes more efficient at adapting to new tasks.
• Abstract（参考訳）: 異なるロボットやタスクから異種ロボット体験を活用し、新しいスキルや体格を素早く習得できる能力は、ロボット学習を変革する可能性がある。 近年の視覚・言語基盤モデルの発展に触発されて,ロボット操作のための基礎エージェントを提案する。 robocatという名のこのエージェントは、マルチアンボディメントアクションラベルの視覚体験を消費できる視覚目標条件決定トランスフォーマである。 このデータは、シミュレートされた本物のロボットアームから、さまざまな観察とアクションのセットでモーターコントロールスキルの大規模なレパートリーにまたがる。 RoboCatでは、ゼロショットだけでなく、ターゲットタスクの100-1000例のみを用いて適用することで、新しいタスクやロボットに一般化する能力を実証する。 また、トレーニングされたモデル自体が、その後のトレーニングイテレーションでデータを生成するためにどのように使われるかを示し、自律的な改善ループのための基本的な構築ブロックを提供する。 本研究は,シミュレーションと3種類の実ロボットを用いた大規模評価を行い,エージェントの能力について検討する。 トレーニングデータの拡大と多様化が進むにつれ、robocatはクロスタスク転送の兆候を示すだけでなく、新しいタスクへの適応もより効率的になります。

関連論文リスト

• $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
  本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。 我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-31T17:22:30Z)
• Know your limits! Optimize the robot's behavior through self-awareness [11.021217430606042]
  最近の人間ロボット模倣アルゴリズムは、高精度な人間の動きを追従することに焦点を当てている。 本稿では,ロボットが参照を模倣する際の動作を予測できるディープラーニングモデルを提案する。 我々のSAW(Self-AWare Model)は、転倒確率、基準運動への固執、滑らかさといった様々な基準に基づいて、潜在的なロボットの挙動をランク付けする。
  論文  参考訳（メタデータ） (2024-09-16T14:14:58Z)
• Robot Learning with Sensorimotor Pre-training [98.7755895548928]
  ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。 我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。 感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
  論文  参考訳（メタデータ） (2023-06-16T17:58:10Z)
• Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
  我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。 我々の枠組みは、人間の手の動きを予測することに基づいている。 トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
  論文  参考訳（メタデータ） (2023-02-03T21:39:52Z)
• RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
  我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。 実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
  論文  参考訳（メタデータ） (2022-12-13T18:55:15Z)
• PACT: Perception-Action Causal Transformer for Autoregressive Robotics Pre-Training [25.50131893785007]
  本研究は,ロボットにおける複数のタスクの出発点として機能する汎用表現を事前学習するためのパラダイムを導入する。 本稿では,ロボットデータから直接表現を自己管理的に構築することを目的として,PACT(Perception-Action Causal Transformer)を提案する。 より大規模な事前学習モデル上に小さなタスク特化ネットワークを微調整すると、同時に1つのモデルをスクラッチからトレーニングするのに比べ、性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-09-22T16:20:17Z)
• MetaMorph: Learning Universal Controllers with Transformers [45.478223199658785]
  ロボット工学では、主に1つのタスクのために1つのロボットを訓練します。 モジュラーロボットシステムは、汎用的なビルディングブロックをタスク最適化形態に柔軟な組み合わせを可能にする。 モジュール型ロボット設計空間上でユニバーサルコントローラを学習するためのトランスフォーマーベースのアプローチであるMetaMorphを提案する。
  論文  参考訳（メタデータ） (2022-03-22T17:58:31Z)
• Lifelong Robotic Reinforcement Learning by Retaining Experiences [61.79346922421323]
  多くのマルチタスク強化学習は、ロボットが常にすべてのタスクからデータを収集できると仮定している。 本研究では,物理ロボットシステムの実用的制約を動機として,現実的なマルチタスクRL問題について検討する。 我々は、ロボットのスキルセットを累積的に成長させるために、過去のタスクで学んだデータとポリシーを効果的に活用するアプローチを導出する。
  論文  参考訳（メタデータ） (2021-09-19T18:00:51Z)
• Adaptation of Quadruped Robot Locomotion with Meta-Learning [64.71260357476602]
  本研究では,多岐にわたる移動課題を解くロボットの訓練にメタ強化学習を用いることを実証する。 メタトレーニングロボットのパフォーマンスは、単一のタスクでトレーニングされたロボットと似ている。
  論文  参考訳（メタデータ） (2021-07-08T10:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。