論文の概要: Adapt2Reward: Adapting Video-Language Models to Generalizable Robotic Rewards via Failure Prompts

• arxiv url: http://arxiv.org/abs/2407.14872v1
• Date: Sat, 20 Jul 2024 13:22:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 20:32:23.192057
• Title: Adapt2Reward: Adapting Video-Language Models to Generalizable Robotic Rewards via Failure Prompts
• Title（参考訳）: Adapt2Reward: 失敗プロンプトによる一般化可能なロボットリワードにビデオ言語モデルを適用する
• Authors: Yanting Yang, Minghao Chen, Qibo Qiu, Jiahao Wu, Wenxiao Wang, Binbin Lin, Ziyu Guan, Xiaofei He,
• Abstract要約: 一般的な報酬機能は、ロボットの強化学習と計画の中心である。 本稿では,ロバストな一般化を伴う映像言語モデルを言語条件の報酬関数に変換する。 本モデルは,ロボット計画と強化学習のための新しい環境と新しい指示に対する優れた一般化を示す。
• 参考スコア（独自算出の注目度）: 21.249837293326497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For a general-purpose robot to operate in reality, executing a broad range of instructions across various environments is imperative. Central to the reinforcement learning and planning for such robotic agents is a generalizable reward function. Recent advances in vision-language models, such as CLIP, have shown remarkable performance in the domain of deep learning, paving the way for open-domain visual recognition. However, collecting data on robots executing various language instructions across multiple environments remains a challenge. This paper aims to transfer video-language models with robust generalization into a generalizable language-conditioned reward function, only utilizing robot video data from a minimal amount of tasks in a singular environment. Unlike common robotic datasets used for training reward functions, human video-language datasets rarely contain trivial failure videos. To enhance the model's ability to distinguish between successful and failed robot executions, we cluster failure video features to enable the model to identify patterns within. For each cluster, we integrate a newly trained failure prompt into the text encoder to represent the corresponding failure mode. Our language-conditioned reward function shows outstanding generalization to new environments and new instructions for robot planning and reinforcement learning.
• Abstract（参考訳）: 汎用ロボットが現実に動作するためには、様々な環境にまたがる幅広い命令を実行することが不可欠である。 このようなロボットエージェントの強化学習と計画の中心は、一般化可能な報酬関数である。 CLIPのような視覚言語モデルの最近の進歩は、ディープラーニングの領域において顕著なパフォーマンスを示し、オープンドメインの視覚認識の道を開いた。 しかし、複数の環境にまたがる様々な言語命令を実行するロボットのデータ収集は依然として困難である。 本稿では,単一環境下でのタスクの最小限のロボットビデオデータのみを用いて,ロバストな一般化を伴う映像言語モデルを一般化可能な言語条件付き報酬関数に変換することを目的とする。 報酬関数のトレーニングに使用される一般的なロボットデータセットとは異なり、人間のビデオ言語データセットには、自明な失敗ビデオがほとんど含まれない。 ロボット実行の成功と失敗を区別するモデルの能力を高めるために、我々は失敗ビデオの特徴をクラスタ化し、モデルが内部のパターンを識別できるようにする。 各クラスタに対して、新たにトレーニングされた障害プロンプトをテキストエンコーダに統合し、対応する障害モードを表現します。 言語条件付き報酬関数は、新しい環境への優れた一般化と、ロボット計画と強化学習のための新しい指示を示す。

関連論文リスト

• $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
  本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。 我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-31T17:22:30Z)
• Robot Utility Models: General Policies for Zero-Shot Deployment in New Environments [26.66666135624716]
  ゼロショットロボットポリシーのトレーニングとデプロイのためのフレームワークであるロボットユーティリティモデル(RUM)を提案する。 RUMは微調整なしで新しい環境に一般化できる。 キャビネットドアのオープン、引き出しのオープン、ナプキンのピックアップ、紙袋のピックアップ、転倒物の再配向の5つのユーティリティモデルを訓練する。
  論文  参考訳（メタデータ） (2024-09-09T17:59:50Z)
• Video-Language Critic: Transferable Reward Functions for Language-Conditioned Robotics [25.2461925479135]
  Video-Language Criticは、簡単に利用可能なクロスボディデータに基づいてトレーニングできる報酬モデルである。 我々のモデルは、スパース報酬のみよりもメタワールドタスクにおける2倍のサンプル効率のポリシートレーニングを可能にします。
  論文  参考訳（メタデータ） (2024-05-30T12:18:06Z)
• RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control [140.48218261864153]
  本研究では,インターネット規模のデータに基づいて学習した視覚言語モデルを,エンドツーエンドのロボット制御に直接組み込む方法について検討する。 提案手法は,インターネット規模のトレーニングから,RT-2による創発的能力の獲得を可能にした。
  論文  参考訳（メタデータ） (2023-07-28T21:18:02Z)
• PaLM-E: An Embodied Multimodal Language Model [101.29116156731762]
  本研究では,実世界の連続型センサを言語モデルに組み込むための具体的言語モデルを提案する。 我々は、複数の具体的タスクのために、事前訓練された大規模言語モデルとともに、これらのエンコーディングをエンドツーエンドにトレーニングする。 562Bパラメータを持つ大モデル PaLM-E-562B は、OK-VQA 上での最先端性能を持つ視覚言語ジェネラリストである。
  論文  参考訳（メタデータ） (2023-03-06T18:58:06Z)
• Language-Driven Representation Learning for Robotics [115.93273609767145]
  ロボット工学における視覚表現学習の最近の研究は、日々の作業を行う人間の大規模なビデオデータセットから学ぶことの可能性を実証している。 人間のビデオやキャプションから言語による表現学習を行うためのフレームワークを提案する。 我々は、Voltronの言語駆動学習が、特に高レベル制御を必要とするターゲット問題において、先行技術よりも優れていることを発見した。
  論文  参考訳（メタデータ） (2023-02-24T17:29:31Z)
• RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
  我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。 実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
  論文  参考訳（メタデータ） (2022-12-13T18:55:15Z)
• What Matters in Language Conditioned Robotic Imitation Learning [26.92329260907805]
  オフラインのフリーフォーム模倣データセットから言語条件付きポリシーを学習する際の最も重要な課題について検討する。 本稿では,CALVINベンチマークを用いて,言語条件の難易度を向上する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T08:45:32Z)
• Learning Generalizable Robotic Reward Functions from "In-The-Wild" Human Videos [59.58105314783289]
  ドメインに依存しないビデオ識別器(DVD)は、2つのビデオが同じタスクを実行しているかどうかを判断するために識別器を訓練することによりマルチタスク報酬関数を学習する。 DVDは、人間のビデオの広いデータセットで少量のロボットデータから学習することで、一般化することができる。 DVDと視覚モデル予測制御を組み合わせることで、実際のWidowX200ロボットのロボット操作タスクを単一の人間のデモから未知の環境で解決できます。
  論文  参考訳（メタデータ） (2021-03-31T05:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。