論文の概要: In-Context Robot Learning with VLM Agents

• arxiv url: http://arxiv.org/abs/2609.19138v1
• Date: Wed, 16 Sep 2026 17:58:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.928917
• Title: In-Context Robot Learning with VLM Agents
• Title（参考訳）: VLMエージェントを用いたインコンテキストロボット学習
• Abstract要約: 本稿では,テキスト内ロボット学習のための汎用フレームワークであるGPT-Policyを紹介する。 タスクの成功と効率の指標を通じて信頼性と限界を評価します。 実際のロボット実験では、人間のビデオデモはロボットアクションラベルなしでもタスク完了を改善する。
• 参考スコア（独自算出の注目度）: 45.801127106171016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Enabling robots to adapt to unfamiliar environments as readily as humans remains a moonshot goal of embodied AI. No finite collection of demonstrations can cover every task and situation a robot will encounter, making the ability to learn from context at deployment essential for generalization. Such in-context learning (ICL), however, remains largely beyond the reach of existing robotic policies. The broad agentic capabilities of commercial vision-language models (VLMs), such as GPT-6 Astra, raise a compelling question: can these models learn from demonstrations, examples, and interaction feedback, then translate that information into executable and verifiable robot behavior from a new initial state without gradient updates or persistent changes to task-specific parameters? We introduce GPT-Policy, a general-agent framework for in-context robot learning. GPT-Policy integrates a context compiler that preserves task-relevant visual transitions, a VLM that proposes robot-tool actions, and a constrained controller that verifies and executes each action and reports its outcome. We evaluate its reliability and limitations through task success and efficiency metrics, matched comparisons across models, and controlled context ablations. In real-robot trials, human video demonstrations improve task completion even without robot action labels, while aligned action references yield further gains on contact-sensitive tasks. These findings position GPT-Policy as a step toward robot adaptation through in-context learning, providing an empirical foundation for translating the general-purpose capabilities of VLMs into physical behavior and clarifying the challenges that must be overcome for reliable deployment.
• Abstract（参考訳）: ロボットを不慣れな環境に適応させるのは、人間と同じだ。 ロボットが遭遇するすべてのタスクや状況をカバーするデモの限られたコレクションは存在せず、一般化に不可欠なデプロイメントでコンテキストから学ぶことができる。 しかし、そのようなコンテキスト内学習(ICL)は、既存のロボットポリシーの範囲を超えている。 GPT-6 Astraのような商用視覚言語モデル(VLM)の幅広いエージェント能力は、魅力的な疑問を提起する: これらのモデルは、デモ、例、インタラクションフィードバックから学び、その情報を、段階的な更新やタスク固有のパラメータへの永続的な変更なしに、新しい初期状態から実行可能で検証可能なロボットの動作に変換することができるか? 本稿では,テキスト内ロボット学習のための汎用フレームワークであるGPT-Policyを紹介する。 GPT-Policyは、タスク関連視覚遷移を保存するコンテキストコンパイラ、ロボットツールアクションを提案するVLM、各アクションの検証と実行と結果の報告を行う制約付きコントローラを統合する。 我々は、タスクの成功と効率の指標、モデル間の比較の一致、制御されたコンテキストの短縮を通じて、その信頼性と制限を評価する。 実際のロボット実験では、人間のビデオデモはロボットアクションラベルなしでもタスク完了を改善する一方、アライメントされたアクション参照は、接触に敏感なタスクにさらに利益をもたらす。 これらの知見は、GPT-Policyを、コンテキスト内学習によるロボット適応へのステップとして位置づけ、VLMの汎用能力を身体行動に翻訳し、信頼性の高い展開のために克服すべき課題を明らかにするための実証的な基盤を提供する。

関連論文リスト

• GRAPPA: Generalizing and Adapting Robot Policies via Online Agentic Guidance [15.774237279917594]
  本稿では,ロボットによる自己指導と自己改善のためのエージェントフレームワークを提案する。 本フレームワークは,環境中の関連オブジェクトに対して,ベースロボットポリシーを反復的に適用する。 弊社のアプローチは、操作ポリシーを効果的にガイドし、成功率を大幅に向上させることを実証する。
  論文  参考訳（メタデータ） (2024-10-09T02:00:37Z)
• Robotic Control via Embodied Chain-of-Thought Reasoning [86.6680905262442]
  学習したロボット制御ポリシーの鍵となる制限は、トレーニングデータの外部で一般化できないことである。 視覚言語行動モデル(VLA)に関する最近の研究は、大規模なインターネット事前学習型視覚言語モデルを使用することで、その堅牢性と一般化能力を大幅に向上させることができることを示した。 ロボットの動作を予測する前に、VLAに対して、計画、サブタスク、動作、視覚的接地機能について複数の推論を行うために、VLAに対してEmbodied Chain-of-Thought Reasoning (ECoT)を導入する。
  論文  参考訳（メタデータ） (2024-07-11T17:31:01Z)
• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  我々はLLaRA: Large Language and Robotics Assistantを紹介した。 まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。 このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)
• MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting [97.52388851329667]
  我々は,自由形式の言語命令で指定されたロボット操作タスクを解決するために,マーキングオープンワールドキーポイントアフォード(Moka)を導入する。 我々のアプローチの中心は、VLMの観測画像と物理世界におけるロボットの行動に関する予測を橋渡しする、コンパクトな点ベースの可測性表現である。 ツールの使用,変形可能な身体操作,オブジェクト再構成など,さまざまなテーブルトップ操作タスクにおけるMokaの性能評価と解析を行った。
  論文  参考訳（メタデータ） (2024-03-05T18:08:45Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。