論文の概要: Scaling Robot Policy Learning via Zero-Shot Labeling with Foundation Models

• arxiv url: http://arxiv.org/abs/2410.17772v2
• Date: Sat, 26 Oct 2024 07:39:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:23:17.408760
• Title: Scaling Robot Policy Learning via Zero-Shot Labeling with Foundation Models
• Title（参考訳）: ファウンデーションモデルを用いたゼロショットラベリングによるロボット政策学習のスケーリング
• Authors: Nils Blank, Moritz Reuss, Marcel Rühle, Ömer Erdinç Yağmurlu, Fabian Wenzel, Oier Mees, Rudolf Lioutikov,
• Abstract要約: NILS: 拡張性のための自然言語命令ラベリング。 NILSは、未処理の長距離ロボットデータをスケールで自動的にラベル付けする。 NILSを用いて430時間以上のロボットデータから得られた115k以上の軌道をラベル付けする。
• 参考スコア（独自算出の注目度）: 4.117963644248323
• License:
• Abstract: A central challenge towards developing robots that can relate human language to their perception and actions is the scarcity of natural language annotations in diverse robot datasets. Moreover, robot policies that follow natural language instructions are typically trained on either templated language or expensive human-labeled instructions, hindering their scalability. To this end, we introduce NILS: Natural language Instruction Labeling for Scalability. NILS automatically labels uncurated, long-horizon robot data at scale in a zero-shot manner without any human intervention. NILS combines pretrained vision-language foundation models in order to detect objects in a scene, detect object-centric changes, segment tasks from large datasets of unlabelled interaction data and ultimately label behavior datasets. Evaluations on BridgeV2, Fractal, and a kitchen play dataset show that NILS can autonomously annotate diverse robot demonstrations of unlabeled and unstructured datasets while alleviating several shortcomings of crowdsourced human annotations, such as low data quality and diversity. We use NILS to label over 115k trajectories obtained from over 430 hours of robot data. We open-source our auto-labeling code and generated annotations on our website: http://robottasklabeling.github.io.
• Abstract（参考訳）: 人間の言語を認識や行動に関連付けるロボットを開発する上での中心的な課題は、多様なロボットデータセットにおける自然言語アノテーションの不足である。 さらに、自然言語命令に従うロボットポリシーは、一般的にテンプレート言語または高価なヒューマンラベル命令で訓練され、そのスケーラビリティを妨げる。 この目的のために、NILS: Natural Language Instruction Labeling for Scalabilityを紹介します。 NILSは、人間の介入なしにゼロショットで、不正確な長い水平のロボットデータをスケールで自動的にラベル付けする。 NILSは、シーン内のオブジェクトを検出し、オブジェクト中心の変更を検出し、未ラベルのインタラクションデータの大規模なデータセットからタスクを分割し、最終的に振る舞いデータセットをラベル付けるために、事前訓練された視覚言語基盤モデルを組み合わせる。 BridgeV2、Fractal、キッチンプレイデータセットの評価によると、NILSは、低いデータ品質や多様性など、クラウドソーシングされた人間のアノテーションのいくつかの欠点を緩和しつつ、ラベル付きおよび構造化されていないデータセットの多様なロボットデモを自律的に注釈付けできる。 NILSを用いて430時間以上のロボットデータから得られた115k以上の軌道をラベル付けする。 私たちは自動ラベリングコードをオープンソースにして、Webサイトでアノテーションを生成しました。

関連論文リスト

• Episodic Memory Verbalization using Hierarchical Representations of Life-Long Robot Experience [12.9617156851956]
  本研究では,大規模な事前学習モデルを用いて,エピソードデータの短い(数分間の)ストリームを音声化する。 樹状データ構造をエピソードメモリ(EM)から導出し,その低レベルは生の知覚と固有受容のデータを表す。 シミュレーションされた家庭用ロボットデータ,人間中心ビデオ,実世界のロボット記録について評価を行った。
  論文  参考訳（メタデータ） (2024-09-26T10:16:08Z)
• AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents [109.3804962220498]
  AutoRTは、人間の監督を最小限に抑えて、完全に見えないシナリオで運用ロボットの展開をスケールアップするシステムである。 われわれはAutoRTが複数の建物にまたがる20以上のロボットに指示を提示し、遠隔操作と自律ロボットポリシーを通じて77万個の実ロボットエピソードを収集するデモを行った。 実験により,AutoRTが収集した「未使用データ」は極めて多種多様であり,AutoRTのLLMを使用することで,人間の好みに合わせることができるデータ収集ロボットの指示が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-01-23T18:45:54Z)
• Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
  ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。 我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。 実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
  論文  参考訳（メタデータ） (2023-03-02T01:55:10Z)
• Scaling Robot Learning with Semantically Imagined Experience [21.361979238427722]
  ロボット学習の最近の進歩は、ロボットが操作タスクを実行できることを約束している。 この進歩に寄与する要因の1つは、モデルのトレーニングに使用されるロボットデータのスケールである。 本稿では,コンピュータビジョンや自然言語処理に広く用いられているテキスト・ツー・イメージ基盤モデルを利用した代替手法を提案する。
  論文  参考訳（メタデータ） (2023-02-22T18:47:51Z)
• RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
  我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。 実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
  論文  参考訳（メタデータ） (2022-12-13T18:55:15Z)
• Robotic Skill Acquisition via Instruction Augmentation with Vision-Language Models [70.82705830137708]
  言語条件制御のためのデータ駆動型インストラクション拡張(DIAL)について紹介する。 我々は,CLIPのセマンティック理解を利用したセミ言語ラベルを用いて,未知の実演データの大規模なデータセットに知識を伝達する。 DIALは、模倣学習ポリシーによって、新しい能力を獲得し、元のデータセットにない60の新しい命令を一般化することができる。
  論文  参考訳（メタデータ） (2022-11-21T18:56:00Z)
• Reshaping Robot Trajectories Using Natural Language Commands: A Study of Multi-Modal Data Alignment Using Transformers [33.7939079214046]
  我々は、人間とロボットのコラボレーションのための柔軟な言語ベースのインタフェースを提供する。 我々は、ユーザコマンドをエンコードする大規模言語モデルの分野における最近の進歩を生かしている。 言語コマンドによって修正されたロボット軌跡を含むデータセット上で、模倣学習を用いてモデルを訓練する。
  論文  参考訳（メタデータ） (2022-03-25T01:36:56Z)
• Learning Language-Conditioned Robot Behavior from Offline Data and Crowd-Sourced Annotation [80.29069988090912]
  本研究では,ロボットインタラクションの大規模なオフラインデータセットから視覚に基づく操作タスクを学習する問題について検討する。 クラウドソースの自然言語ラベルを用いたオフラインロボットデータセットの活用を提案する。 提案手法は目標画像仕様と言語条件付き模倣技術の両方を25%以上上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-09-02T17:42:13Z)
• Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots [129.46920552019247]
  本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。 ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
  論文  参考訳（メタデータ） (2021-02-09T10:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。