論文の概要: WorldScape Policy 2.0: Empowering Steerable World Action Modeling with Reasoning-Augmented Memory
- arxiv url: http://arxiv.org/abs/2607.18840v1
- Date: Tue, 21 Jul 2026 08:25:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.357823
- Title: WorldScape Policy 2.0: Empowering Steerable World Action Modeling with Reasoning-Augmented Memory
- Title（参考訳）: WorldScape Policy 2.0:Reasoning-Augmented Memoryによるステアブルなワールドアクションモデリングの強化
- Abstract要約: We introduced WorldScape Policy 2.0, a controllable WAM with reasoning-augmented long long-term memory。
検索された履歴は、認識と自己回帰的に生成された計画トークンを増大させ、自律的な計画のための暗黙のサブゴール条件をもたらす。
シミュレーションと実世界のプラットフォームにおける実験は、長期の自律計画、きめ細かい指示、文脈内適応において優れた能力を示す。
- 参考スコア（独自算出の注目度）: 50.19449886428936
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World Action Models (WAMs) offer a promising paradigm for robotic manipulation by jointly modeling visual state transitions and robot actions. However, existing WAMs are constrained by limited temporal context, coarse episode-level language supervision, and predominantly text-only conditioning, which hinder task-progress tracking and fine-grained language-video-action grounding while limiting visual-context reasoning and cross-embodiment transfer. In this paper, we introduce WorldScape Policy 2.0, a controllable WAM with reasoning-augmented long short-term memory. Its causal short-term visual memory supplies recent observations as DiT prefill to preserve local interaction dynamics, while its long short-term event memory organizes historical VLM outputs into global-history, local-active, and event-boundary representations for progress-aware retrieval. The retrieved history augments perception and autoregressively generated planning tokens, yielding an implicit subgoal condition for autonomous planning; semantic forcing further transfers event-level instruction semantics into this latent planning pathway. To establish fine-grained multimodal controllability, we construct ManipEvent-5M, an event-grounded embodied pretraining dataset containing nearly 5 million event segments with aligned action trajectories, episode-level task instructions, segment-level subtask captions, goal images, and video demonstrations. These designs provide a unified interface for autonomous planning from high-level instructions and controllable execution from fine-grained text, goal-image, or video-context prompts. Experiments in both simulation and real-world platforms demonstrate superior capabilities in long-horizon autonomous planning, fine-grained instruction following and in-context adaptation.
- Abstract（参考訳）: World Action Models (WAM) は、視覚状態遷移とロボット動作を共同でモデル化することで、ロボット操作のための有望なパラダイムを提供する。
しかし、既存のWAMは、時間的文脈の制限、粗いエピソードレベルの言語監督、および主にテキストのみの条件付けによって制約されており、視覚的コンテキスト推論や異体間移動を制限しつつ、タスクプログレス追跡やきめ細かな言語とビデオの接地を妨げている。
本稿では,長期記憶を推論する制御可能なWAMであるWorldScape Policy 2.0を紹介する。
因果的短期記憶は、局所的相互作用のダイナミクスを維持するためにDiTが準備されているのに対して、長い短期記憶は、歴史的VLM出力を世界史、地域活動、イベント境界表現に整理し、進行認識検索を行う。
検索された履歴は、認識と自己回帰的に生成された計画トークンを増大させ、自律的な計画のための暗黙のサブゴール条件をもたらす。
詳細なマルチモーダル制御性を確立するために,500万近いイベントセグメントを含むイベントグラウンド型事前学習データセットであるManipEvent-5Mを構築し,アクショントラジェクトリ,エピソードレベルのタスク命令,セグメントレベルのサブタスクキャプション,ゴールイメージ,ビデオデモを行う。
これらの設計は、高レベルの命令から自律的な計画のための統一されたインターフェースを提供し、きめ細かいテキスト、ゴールイメージ、ビデオコンテキストプロンプトから制御可能な実行を提供する。
シミュレーションと実世界のプラットフォームにおける実験は、長期の自律計画、きめ細かい指示の追従、文脈内適応において優れた能力を示す。
関連論文リスト
- Memory as Plans: World-Action Modeling with Memory-Grounded Planning [33.29460541345171]
MaP-WAMはメモリ依存のワールドアクションモデリングをメモリグランドプランニングとプランコンディショニングに分解するメモリ・アズ・プランンズフレームワークである。
MaP-WAMはRMBenchの最先端のパフォーマンスを83.3%の成功率で達成し、実際のロボットタスクで78.0%の成功を達成した。
論文 参考訳（メタデータ） (2026-09-10T13:52:51Z) - EV-WM: Event-Verified World Models for Long-Horizon Robotic Manipulation [0.815557531820863]
ロングホライゾン操作は、関係性、述語レベル、物理的に接地された進行信号を必要とする。
我々は,ワールド・モデル・プランニングのための述語型検証フレームワークである textbfEV-WM を紹介する。
論文 参考訳（メタデータ） (2026-06-11T08:35:37Z) - Task Robustness via Re-Labelling Vision-Action Robot Data [15.985610886484226]
本稿では,既存のロボットデータセットを拡張可能なスケーラブルなフレームワークであるRe-Labelling Vision-Action Robot Data (TREAD)によるタスクロバストネスについて紹介する。
提案手法では,従来の命令ラベルと初期シーンからセマンティックなサブタスクを生成し,これらのサブタスクに条件付けされたデモビデオを分割し,オブジェクトプロパティを組み込んだ多様なインストラクションを生成する。
以上の結果から,TREADは軌道分解による計画一般化と言語多様性の向上による言語条件付き政策一般化の両立を図っている。
論文 参考訳（メタデータ） (2026-06-09T14:28:22Z) - Coarse-to-Control: Action-Token Planning for Vision-Language-Action Models [101.44987067974999]
Coarse-to-Controlは計画実行VLAで、アクション・ツー・ケンの領域で計画を導入する。
アクション・ツー・ケイン・プランニングは直接アクション・ジェネレーションよりも一貫して改善されていることを示す。
論文 参考訳（メタデータ） (2026-06-05T10:01:37Z) - AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。
AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2026-06-04T13:28:51Z) - MoMaStage: Skill-State Graph Guided Planning and Closed-Loop Execution for Long-Horizon Indoor Mobile Manipulation [27.117666227269044]
屋内移動操作(MoMA)により、ロボットは自然言語の指示を物理的行動に変換することができる。
MoMaStageは長期的なMoMAのための視覚言語フレームワークで、明示的なシーンマッピングの必要性を排除している。
物理に富んだシミュレーションと実世界の環境の実験は、MoMaStageが最先端のベースラインより優れていることを示した。
論文 参考訳（メタデータ） (2026-03-09T13:43:38Z) - Action-Sketcher: From Reasoning to Action via Visual Sketches for Long-Horizon Robotic Manipulation [37.76888706583038]
長距離ロボット操作は、現実世界の展開においてますます重要になっている。
既存のエンドツーエンドおよび階層的なビジョン・ランゲージ・アクションポリシーは、しばしばテキストのみの手がかりに依存している。
ロボットの現在のビューに、ポイント、ボックス、矢印、型付き関係を描画する、不可解な視覚中間体であるVisual Sketchを導入する。
本稿では,サイクリックSee-Think-Sketch-Actワークフローで動作するVLAフレームワークであるAction-Sketcherを紹介する。
論文 参考訳（メタデータ） (2026-01-04T17:53:42Z) - Gondola: Grounded Vision Language Planning for Generalizable Robotic Manipulation [62.711546725154314]
一般化可能なロボット操作のための大規模言語モデル(LLM)に基づく基盤的視覚言語計画モデルであるゴンドラについて紹介する。
G Gondola氏はマルチビューイメージとヒストリプランを使って、インターリーブされたテキストとターゲットオブジェクトとロケーションのセグメンテーションマスクを備えた次のアクションプランを作成する。
G Gondolaは、GemBenchデータセットの4つのレベルすべてにわたって、最先端のLCMベースのメソッドよりも優れています。
論文 参考訳（メタデータ） (2025-06-12T20:04:31Z) - Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features [59.892436892964376]
本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。
この知見はFlex (Fly lexically) で合成され, 凍結パッチワイド特徴抽出器として, 事前学習された視覚言語モデル (VLM) を用いたフレームワークである。
本研究では,本手法の有効性を,行動クローンによる訓練を実世界のシーンに応用した,四重項フライ・トゥ・ターゲットタスクに適用した。
論文 参考訳（メタデータ） (2024-10-16T19:59:31Z) - LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。
以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。
具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
論文 参考訳（メタデータ） (2024-06-24T03:36:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。