論文の概要: WorldSketch: Sketching World Models for Zero-Shot Mobile Manipulation

• arxiv url: http://arxiv.org/abs/2611.00513v1
• Date: Sat, 31 Oct 2026 01:06:20 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:15:12.489229
• Title: WorldSketch: Sketching World Models for Zero-Shot Mobile Manipulation
• Title（参考訳）: WorldSketch: ゼロショットモバイル操作のためのワールドモデルをスケッチする
• Abstract要約: 本稿では,VLMがロボットアクションを生成するのではなく,世界モデルを構築するエージェントロボティクスの新しいパラダイムであるWorldSketchを提案する。 我々は,RoboCasa, LIBERO-PRO, R2R-CEナビゲーションにおけるこのパラダイムの汎用性を実証し, ゼロショット成功率91%, 97%, 76%を達成した。
• 参考スコア（独自算出の注目度）: 3.298519306406288
• License:
• Abstract: Most agentic robotic systems use vision-language models (VLMs) either to orchestrate predefined skills or to directly generate actions, constraints, and control programs. The former is limited by the available skill library, while the latter requires VLMs to reason about precise geometry and contact. In this paper, we propose WorldSketch, a new paradigm for agentic robotics in which a VLM constructs a world model rather than generating robot actions. The VLM acts as an agent that actively queries perception tools to build and visually validate a minimal kinematic world model, capturing only task-relevant objects, their interaction geometry, and possible motions. A geometric planner then jointly optimizes contact and whole-body motion on the resulting model. Moreover, the world model is self-improving: execution feedback verifies outcomes, updates uncertain hypotheses, and enables the agent to revise the model when its predictions are contradicted. We demonstrate the generality of this paradigm across RoboCasa, LIBERO-PRO, and R2R-CE navigation, achieving zero-shot success rates of 91%, 97%, and 76%, respectively. On RoboCasa, WorldSketch outperforms the next-best zero-shot agent baseline by 58 percentage points while using 10 times fewer VLM input tokens; on LIBERO-PRO, it exceeds CaP-X by 82 percentage points. In navigation, it matches the success rate of step-by-step VLM agents while using 6 times fewer input tokens.
• Abstract（参考訳）: ほとんどのエージェントロボットシステムは、事前に定義されたスキルを編成するか、直接アクション、制約、制御プログラムを生成するために視覚言語モデル(VLM)を使用する。 前者は利用可能なスキルライブラリによって制限されているが、後者は正確な幾何学と接触を推論するためにVLMを必要とする。 本稿では,VLMがロボットアクションを生成するのではなく,世界モデルを構築するエージェントロボティクスの新しいパラダイムであるWorldSketchを提案する。 VLMは、最小限のキネマティック・ワールド・モデルを構築し、視覚的に検証するための知覚ツールを積極的にクエリするエージェントとして機能し、タスク関連オブジェクトのみをキャプチャし、それらの相互作用幾何学と可能な動きをキャプチャする。 幾何学的プランナーは、結果のモデル上で接触と全身の動きを共同で最適化する。 さらに、世界モデルは自己改善的であり、実行フィードバックは結果を確認し、不確実な仮説を更新し、エージェントがその予測に矛盾があるときにモデルを再修正することを可能にする。 我々は,RoboCasa, LIBERO-PRO, R2R-CEナビゲーションにおけるこのパラダイムの汎用性を実証し, ゼロショット成功率91%, 97%, 76%を達成した。 RoboCasaでは、WorldSketchは10倍のVLM入力トークンを使用しながら、次位のゼロショットエージェントベースラインを58パーセント上回り、LIBERO-PROではCaP-Xを82パーセント上回る。 ナビゲーションでは、ステップバイステップのVLMエージェントの成功率と6倍の入力トークンを使用する。

関連論文リスト

• Exploiting Vulnerabilities: Universal Adversarial Attacks on Vision-Language-Action Models in Robotics [48.41285841709567]
  VLA(Vision-Language-Action)モデルは、視覚知覚、言語理解、行動生成をエンドツーエンドの学習フレームワークにシームレスに統合することで、ロボット操作に革命をもたらした。 本稿では,ロボットの視野内に置くとタスク成功率を大幅に低下させる表面テクスチャを最適化した球体であるUniversal Adversarial Objectを提案する。
  論文  参考訳（メタデータ） (2026-09-30T07:34:24Z)
• MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation [20.61956871197348]
  我々は,VLMが提案する中間レベル動作を決定論的ロボット制御とフィードバックに接続するロボット操作ハーネスであるMotorMindを紹介する。 SAM3のようなタスク固有のポリシートレーニングやコーディングエージェント、その他の基盤ツールがなければ、MotorMindはベースとなるLIBERO-PROスイートで66.7%、摂動下で53.8%の成功を収める。
  論文  参考訳（メタデータ） (2026-09-29T17:36:40Z)
• One from Infinity: Actualizing Futures from Pretrained World Models into Robot Actions [52.542279563757724]
  映像の世界モデルでは、シーンの多くの有望な未来が認められるが、ロボットは正確なタスク条件に気付く必要がある。 我々は、このタスクを現実化として形式化し、フリーズワールドモデルによって提供された事前のタスク条件の選択と実現を学習する。 我々は,冷凍世界モデルエンコーダ上に,最大60万パラメータのRoboActualizerを実装した。 現実化器は2つの軽量なDiT専門家で構成されており、将来的な潜伏剤とフローマッチングによるアクションを共同で予測する。
  論文  参考訳（メタデータ） (2026-09-29T00:05:24Z)
• World Action Agent: Harnessing VLMs for Robot Manipulation via World Action Rehearsal [45.2458976067941]
  汎用視覚言語モデル(VLM)は、ロボット操作に広い知識と空間推論をもたらす。 本稿では、VLMが基本ツールで操縦する多エージェントハーネスであるWorld Action Agent(WAA)を紹介する。
  論文  参考訳（メタデータ） (2026-09-24T15:19:39Z)
• Demonstration-Free Robotic Control via LLM Agents [0.0]
  FAEA (Frontier Agent as Embodied Agent) を導入する。 FAEAは、特権環境の状態アクセスにより、それぞれ84.9%、85.7%、96%の成功率を達成した。 この結果から,汎用エージェントは,熟考的タスクレベルの計画に支配される操作タスクのクラスに十分であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-28T07:49:35Z)
• HAMSTER: Hierarchical Action Models For Open-World Robot Manipulation [54.03004125910057]
  階層型視覚-言語-アクションモデルは、標準的なモノリシックVLAモデルよりも、ドメイン外のデータを利用するのに効果的であることを示す。 階層設計により、高レベルなVLMは、オフドメイン微調整データと実ロボットテストシナリオの間の重要なドメインギャップをまたいで転送可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-08T07:50:22Z)
• RoboMamba: Efficient Vision-Language-Action Model for Robotic Reasoning and Manipulation [39.44358155600282]
  本稿では,ロボット推論とアクション機能の両方を提供する,エンドツーエンドのロボットVLAモデルであるRoboMambaを紹介する。 具体的には、視覚エンコーダをMambaと統合し、コトレーニングによる言語埋め込みと視覚トークンを整合させる。 一度RoboMambaが十分な推論能力を持つと、最小限の微調整パラメータで操作スキルを得ることができる。
  論文  参考訳（メタデータ） (2024-06-06T17:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。