論文の概要: Objectives as Policies: Vision-Language Model Cost Programs for Contact-Rich Manipulation
- arxiv url: http://arxiv.org/abs/2611.18298v1
- Date: Fri, 13 Nov 2026 15:22:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.354152
- Title: Objectives as Policies: Vision-Language Model Cost Programs for Contact-Rich Manipulation
- Title(参考訳): 政策としての目的:コンタクトリッチ操作のためのビジョンランゲージモデルコストプログラム
- Abstract要約: 視覚言語モデル(VLM)は3次元環境において強い意味と空間的推論能力を示す。
シミュレーションに基づくディジタルツインをリアルタイムに構築し,シミュレーションでMPCが実行する対象プログラムを生成する。
我々は,4つのテーブルトップ操作タスクにおいて,シミュレーションと実世界の両方でフレームワークを評価し,強力なベースラインよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 5.1733192908141525
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models (VLMs) have shown strong semantic and spatial reasoning capabilities in 3D environments. Recently, connecting VLMs with model-predictive controllers (MPC) has emerged as a paradigm for combining strong semantic reasoning with physics-based planning. However, connecting these two for contact-rich robotic manipulation requires a task representation that bridges the two and captures how physical interactions can be reasoned by VLMs. In this work, we introduce Objectives as Policies (OaP), a framework that connects a pretrained VLM to a shared sampling-based MPC through an editable objective program. Each program specifies a sequence of stages for completing a task, combining running and terminal costs from a cost library with stage completion conditions. Given a natural-language task instruction and scene observation, we build a simulation-based digital twin through real-to-sim, and the VLM generates an objective program that is executed by the MPC in the simulation. The program is iteratively updated by the VLM based on MPC rollouts, before being deployed in the real world. We evaluate our framework in both simulation and the real world on four tabletop manipulation tasks, and show that it outperforms strong baselines. Additional videos and examples are available on the project website: https://zihaolu001.github.io/oap-project/
- Abstract(参考訳): 視覚言語モデル(VLM)は3次元環境において強い意味と空間的推論能力を示す。
近年,VLMをモデル予測制御器 (MPC) に接続することは,強い意味論的推論と物理に基づく計画法を組み合わせるパラダイムとして出現している。
しかしながら、これら2つを接触に富んだロボット操作のために接続するには、これら2つを橋渡しし、VLMによって物理的相互作用がどのように推論されるかをキャプチャするタスク表現が必要である。
本稿では,事前学習されたVLMと共有サンプリングベースのMPCを編集可能な客観的プログラムを介して接続するフレームワークであるObjectives as Policies (OaP)を紹介する。
各プログラムは、コストライブラリのランニングコストとターミナルコストをステージ完了条件と組み合わせて、タスクを完了するための一連のステージを指定する。
自然言語によるタスク命令とシーンの観察を前提として,シミュレーションに基づくディジタルツインをリアルタイムに構築し,シミュレーションでMPCが実行する対象プログラムを生成する。
プログラムは、MPCロールアウトに基づいてVLMによって反復的に更新され、実際の世界にデプロイされる。
我々は,4つのテーブルトップ操作タスクにおいて,シミュレーションと実世界の両方でフレームワークを評価し,強力なベースラインよりも優れていることを示す。
追加のビデオやサンプルはプロジェクトのWebサイト(https://zihaolu001.github.io/oap-project/)で公開されている。
関連論文リスト
- Embodied Zero-Shot Task Planning via Hardware-Aware LLM-VLM Integration for Grounded Robotic Manipulation [0.0]
本稿では,Franka Research 3ロボットのためのハードウェア対応大規模言語モデルビジョン言語モデル (LLM-VLM) 操作フレームワークを提案する。
このフレームワークは、記号的推論とメトリック実行を分離する。
これは、ピックアップ、閉鎖されたソースアクセス、メンテナンスアウト推論、関係配置、シーケンシャルな操作タスクを含むデジタルツイントライアルのシミュレーションによって評価される。
論文 参考訳(メタデータ) (2026-10-08T22:59:11Z) - In-Context Model Predictive Generation: Open-Vocabulary Motion Synthesis from Language Models to Physics [109.99871326497333]
In-Context Model Predictive Generation (ICMPG)は、言語モデル計画と推論時の物理的フィードバックを統合するフレームワークである。
ICMPGは2つのモジュールでモデル予測制御(MPC)のようなプロセスとして運動合成を再構成する。
論文 参考訳(メタデータ) (2026-06-25T12:50:33Z) - Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。
このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。
本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
論文 参考訳(メタデータ) (2026-06-07T08:57:51Z) - AnyTask: an Automated Task and Data Generation Framework for Advancing Sim-to-Real Policy Learning [16.837846476054786]
大規模で多様な、高品質なインタラクションデータは、現実の世界で収集するのに費用がかかる。
我々はAnyTaskという,大規模並列GPUシミュレーションと基礎モデルを組み合わせて多様な操作タスクを設計する自動化フレームワークを提示する。
我々は、生成されたデータに基づいて行動クローニングポリシーを訓練し、シミュレーションで検証し、実際のロボットハードウェアに直接デプロイする。
論文 参考訳(メタデータ) (2025-12-19T17:55:48Z) - SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models [60.80050275581661]
VLM(Vision-Language Models)は、目覚しい常識と意味論的推論能力を示す。
物理力学に関する基礎的な理解は欠如している。
テストタイムでシミュレーション可能な ACTion Planning フレームワークである S を提案する。
本手法は,5つの難易度,実世界の剛体および変形可能な操作課題に対して,最先端の性能を示す。
論文 参考訳(メタデータ) (2025-12-05T18:51:03Z) - BLAZER: Bootstrapping LLM-based Manipulation Agents with Zero-Shot Data Generation [59.70634559248202]
BLAZERは、自動生成されたトレーニングデータから操作ポリシーを学ぶフレームワークである。
シミュレーション環境と実環境の両方において、BLAZERはゼロショット操作を大幅に改善することを示す。
私たちのコードとデータはプロジェクトのページで公開されます。
論文 参考訳(メタデータ) (2025-10-09T17:59:58Z) - Human-Object Interaction via Automatically Designed VLM-Guided Motion Policy [30.43930233035367]
VLM(Vision-Language Models)を利用した最初の統合物理ベースのHOフレームワークを紹介する。
VLM-Guided Relative Movement Dynamics (RMD)を導入する。これは、強化学習のための目標状態と報酬関数を自動的に構築する、微細な時間的二部運動表現である。
提案手法をサポートするために,何千もの長期の静的および動的相互作用計画を持つ新しいデータセットであるInterplayを提案する。
論文 参考訳(メタデータ) (2025-03-24T05:18:04Z) - Physics Context Builders: A Modular Framework for Physical Reasoning in Vision-Language Models [11.282655911647483]
視覚言語モデル(VLM)における物理推論の課題
物理コンテキストビルダー(PCB)は,物理シーンの詳細な記述を生成するために,より小型のVLMを微調整したモジュラーフレームワークである。
PCBは、視覚知覚と推論の分離を可能にし、身体的理解に対する相対的な貢献を分析することができる。
論文 参考訳(メタデータ) (2024-12-11T18:40:16Z) - Details Make a Difference: Object State-Sensitive Neurorobotic Task Planning [15.03025428687218]
オブジェクトの状態は現在の状態や状態を反映しており、ロボットのタスク計画と操作にとって重要である。
近年,LLM (Large Language Models) とVLM (Vision-Language Models) は,計画生成において顕著な能力を示している。
我々は、事前学習ニューラルネットワークによって強化されたタスク計画エージェントであるObject State-Sensitive Agent (OSSA)を紹介する。
論文 参考訳(メタデータ) (2024-06-14T12:52:42Z) - PIVOT: Iterative Visual Prompting Elicits Actionable Knowledge for VLMs [140.14239499047977]
視覚言語モデル(VLM)は、論理的推論から視覚的理解に至るまで、様々なタスクにわたって印象的な能力を示している。
PIVOT(Prompting with Iterative Visual Optimization)と呼ばれる新しい視覚的プロンプト手法を提案する。
私たちのアプローチは、ロボットのトレーニングデータやさまざまな環境でのナビゲーション、その他の能力なしに、ロボットシステムのゼロショット制御を可能にします。
論文 参考訳(メタデータ) (2024-02-12T18:33:47Z) - Interactive Planning Using Large Language Models for Partially
Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。
LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文 参考訳(メタデータ) (2023-12-11T22:54:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。