論文の概要: Robotic Control via Embodied Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2407.08693v1
• Date: Thu, 11 Jul 2024 17:31:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 16:21:02.618863
• Title: Robotic Control via Embodied Chain-of-Thought Reasoning
• Title（参考訳）: ボディードチェーン・オブ・ソート推論によるロボット制御
• Authors: Zawalski Michał, Chen William, Pertsch Karl, Mees Oier, Finn Chelsea, Levine Sergey,
• Abstract要約: 学習したロボット制御ポリシーの鍵となる制限は、トレーニングデータの外部で一般化できないことである。 視覚言語行動モデル(VLA)に関する最近の研究は、大規模なインターネット事前学習型視覚言語モデルを使用することで、その堅牢性と一般化能力を大幅に向上させることができることを示した。 ロボットの動作を予測する前に、VLAに対して、計画、サブタスク、動作、視覚的接地機能について複数の推論を行うために、VLAに対してEmbodied Chain-of-Thought Reasoning (ECoT)を導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key limitation of learned robot control policies is their inability to generalize outside their training data. Recent works on vision-language-action models (VLAs) have shown that the use of large, internet pre-trained vision-language models as the backbone of learned robot policies can substantially improve their robustness and generalization ability. Yet, one of the most exciting capabilities of large vision-language models in other domains is their ability to reason iteratively through complex problems. Can that same capability be brought into robotics to allow policies to improve performance by reasoning about a given task before acting? Naive use of "chain-of-thought" (CoT) style prompting is significantly less effective with standard VLAs because of the relatively simple training examples that are available to them. Additionally, purely semantic reasoning about sub-tasks, as is common in regular CoT, is insufficient for robot policies that need to ground their reasoning in sensory observations and the robot state. To this end, we introduce Embodied Chain-of-Thought Reasoning (ECoT) for VLAs, in which we train VLAs to perform multiple steps of reasoning about plans, sub-tasks, motions, and visually grounded features like object bounding boxes and end effector positions, before predicting the robot action. We design a scalable pipeline for generating synthetic training data for ECoT on large robot datasets. We demonstrate, that ECoT increases the absolute success rate of OpenVLA, the current strongest open-source VLA policy, by 28% across challenging generalization tasks, without any additional robot training data. Additionally, ECoT makes it easier for humans to interpret a policy's failures and correct its behavior using natural language.
• Abstract（参考訳）: 学習したロボット制御ポリシーの重要な制限は、トレーニングデータの外部で一般化できないことである。 視覚言語行動モデル(VLA)に関する最近の研究は、学習されたロボットポリシーのバックボーンとして、大規模なインターネット事前学習された視覚言語モデルを使用することで、その堅牢性と一般化能力を大幅に向上させることができることを示した。 しかし、他の領域における大きな視覚言語モデルの最もエキサイティングな能力の1つは、複雑な問題を通して反復的に推論できる能力である。 同じ能力をロボティクスに持ち込んで、行動する前に与えられたタスクを推論することで、パフォーマンスを向上させるポリシーを実現することができるだろうか? チェーン・オブ・シークレット(CoT)スタイルのプロンプトの使用は、通常のVLAでは比較的単純なトレーニング例であるため、はるかに効果が低い。 さらに、通常のCoTでよく見られるように、サブタスクに関する純粋に意味論的推論は、感覚観察やロボットの状態に推論を根ざす必要があるロボットポリシーには不十分である。 この目的のために、我々はVLAのためのEmbodied Chain-of-Thought Reasoning (ECoT)を導入し、ロボットの動作を予測する前に、計画、サブタスク、動き、そしてオブジェクト境界ボックスやエンドエフェクタ位置のような視覚的に接地された特徴について推論する複数のステップを実行するようにVLAを訓練する。 大規模ロボットデータセット上でECoTのための合成トレーニングデータを生成するスケーラブルなパイプラインを設計する。 ECoTは、現在最強のオープンソースVLAポリシーであるOpenVLAの絶対的な成功率を、追加のロボットトレーニングデータなしで、挑戦的な一般化タスクに対して28%向上することを示した。 さらに、ECoTは、人間がポリシーの失敗を解釈し、自然言語を使って行動を修正するのを容易にする。

関連論文リスト

• Commonsense Reasoning for Legged Robot Adaptation with Vision-Language Models [81.55156507635286]
  脚のついたロボットは、様々な環境をナビゲートし、幅広い障害を克服することができる。 現在の学習手法は、人間の監督を伴わずに、予期せぬ状況の長い尾への一般化に苦慮することが多い。 本稿では,VLM-Predictive Control (VLM-PC) というシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-02T21:00:30Z)
• Yell At Your Robot: Improving On-the-Fly from Language Corrections [84.09578841663195]
  高いレベルのポリシーは、人間のフィードバックによって言語修正の形で容易に管理できることを示す。 このフレームワークは、ロボットがリアルタイムの言語フィードバックに迅速に適応するだけでなく、このフィードバックを反復的なトレーニングスキームに組み込むことを可能にする。
  論文  参考訳（メタデータ） (2024-03-19T17:08:24Z)
• Vision-Language Foundation Models as Effective Robot Imitators [48.73027330407576]
  我々は、オープンソースのVLMであるOpenFlamingo上に構築されたRoboFlamingoというビジョン言語操作フレームワークを考案した。 テストベンチマークでは,最先端のパフォーマンスをはるかに上回って,ロボット制御にVLMを適用する上で,RoboFlamingoが効果的かつ競争力のある代替手段であることを示す。
  論文  参考訳（メタデータ） (2023-11-02T16:34:33Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Nonprehensile Planar Manipulation through Reinforcement Learning with Multimodal Categorical Exploration [8.343657309038285]
  強化学習はそのようなロボットコントローラを開発するための強力なフレームワークである。 分類分布を用いたマルチモーダル探索手法を提案する。 学習したポリシは外部の障害や観測ノイズに対して堅牢であり、複数のプッシュ器でタスクにスケールできることが示される。
  論文  参考訳（メタデータ） (2023-08-04T16:55:00Z)
• Stabilizing Contrastive RL: Techniques for Robotic Goal Reaching from Offline Data [101.43350024175157]
  自己指導型学習は、制御戦略を学ぶのに必要な人間のアノテーションとエンジニアリングの労力を減らす可能性がある。 我々の研究は、強化学習(RL)自体が自己監督的な問題であることを示す先行研究に基づいている。 コントラスト学習に基づく自己教師付きRLアルゴリズムは,実世界の画像に基づくロボット操作タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-06-06T01:36:56Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Towards Plug'n Play Task-Level Autonomy for Robotics Using POMDPs and Generative Models [0.0]
  ロボットのスキルを、特定のタスクを達成するためにそのスキルをスケジュールする作業自律型ロボットコントローラに統合するアプローチについて述べる。 私たちのジェネレーティブスキルドキュメンテーション言語(GSDL)は、コードドキュメンテーションをコンパクトで表現力のあるものにします。 抽象マッピング(AM)は、低レベルのロボットコードと抽象AI計画モデルとのギャップを埋める。
  論文  参考訳（メタデータ） (2022-07-20T07:27:47Z)
• SQUIRL: Robust and Efficient Learning from Video Demonstration of Long-Horizon Robotic Manipulation Tasks [8.756012472587601]
  深層強化学習(RL)は複雑な操作タスクを学習するために用いられる。 RLは、ロボットが大量の現実世界の経験を収集する必要がある。 SQUIRLは、単一のビデオデモしか持たない、新しいが関連するロングホライゾンタスクを実行する。
  論文  参考訳（メタデータ） (2020-03-10T20:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。