論文の概要: DF$^3$: World Modeling via Decoder-Free Feature Forecasting in Autonomous Navigation
- arxiv url: http://arxiv.org/abs/2608.02428v1
- Date: Mon, 03 Aug 2026 16:08:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.699919
- Title: DF$^3$: World Modeling via Decoder-Free Feature Forecasting in Autonomous Navigation
- Title（参考訳）: DF$^3$: 自律ナビゲーションにおけるデコーダフリー機能予測による世界モデリング
- Abstract要約: DF$3$は、凍結した視覚基盤モデルの終端ブロックに学習可能な空間クエリを注入し、将来の状態表現を直接抽出する。
ロボットシミュレータにおける公開ベンチマークとゼロショット展開の実験は、DF$3$が最先端のメソッドに匹敵するパフォーマンスを達成することを実証している。
- 参考スコア（独自算出の注目度）: 7.872843554385665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Forecasting future states from video sequences is a critical challenge for autonomous robotic systems and a fundamental objective of world modeling. Prior generative methods operating at the pixel level inevitably overemphasize task-irrelevant details, leading to prohibitive computational overhead. While latent-based approaches attempt to mitigate this by predicting features directly, the persistent reliance on heavy decoders for state-to-task mapping remains a computational bottleneck. In this work, we propose Decoder-Free Feature Forecasting (DF$^3$), a novel framework that models world evolution entirely within the latent space and directly derives task outputs, completely eliminating the need for a decoder. Specifically, DF$^3$ injects learnable spatial queries into the terminal blocks of a frozen vision foundation model to extract future state representations directly. By employing a lightweight, unified Motion-Aware Context Fusion (MACF) mechanism that seamlessly integrates coarse flow warping with fine-grained latent cross-correlation, these queries interact with historical token representations to explicitly align and forecast the feature of the next frame. Subsequently, a specialized set of task queries probes these forecasted features for the downstream task. Extensive experiments on public benchmarks and zero-shot deployment in a robotic simulator demonstrate that DF$^3$ achieves performance comparable to state-of-the-art methods while offering superior efficiency and flexibility for integrated perception and control.
- Abstract（参考訳）: ビデオシーケンスから将来の状態を予測することは、自律ロボットシステムにとって重要な課題であり、世界モデリングの基本的な目的である。
以前、ピクセルレベルで動作していた生成手法は、必然的にタスク非関連の詳細を過度に強調し、計算オーバーヘッドを禁ずる結果となった。
遅延ベースのアプローチは、機能を直接予測することでこれを緩和しようとするが、ステート・ツー・タスクマッピングのための重いデコーダへの永続的な依存は、依然として計算ボトルネックである。
本研究では,Decoder-Free Feature Forecasting (DF$^3$)を提案する。このフレームワークは潜在空間内での世界の進化をモデル化し,直接タスク出力を導出し,デコーダの必要性を完全に排除する。
具体的には、DF$^3$は、学習可能な空間的クエリを凍結された視覚基盤モデルの終端ブロックに注入し、将来の状態表現を直接抽出する。
粗いフローワープを微粒な横相関でシームレスに統合する、軽量で統一された Motion-Aware Context Fusion (MACF) 機構を利用することで、これらのクエリは歴史的なトークン表現と相互作用し、次のフレームの特徴を明示的に整列し予測する。
その後、タスククエリの特別なセットが、下流タスクの予測された機能を調査します。
ロボットシミュレーターにおける公開ベンチマークとゼロショット展開に関する大規模な実験は、DF$^3$が最先端の手法に匹敵する性能を達成し、統合された知覚と制御に優れた効率と柔軟性を提供することを示した。
関連論文リスト
- StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models [84.17128030384099]
StreamPIはストリーミングマルチモーダル時間モデリングフレームワークである。
追加パラメータを導入することなく、単一フレームのVLAに時間的推論能力を持たせる。
メモリ依存および正確な認識シナリオにまたがる実ロボットタスクの実験とシミュレーションベンチマークのLIBEROは、StreamPIが様々なタスクでpi0.5より優れていることを示した。
論文 参考訳（メタデータ） (2026-08-26T17:33:19Z) - KineBench: Benchmarking Embodied World Models via IDM-Free Kinematic Grounding [58.541098216700796]
エンボディド・ワールド・モデルの 物理的整合性を評価することは 重要なオープン・チャレンジです
既存のフレームワークはほとんどがアクション抽出に逆ダイナミクスモデル(IDM)に依存している。
IDMのないEWMのためのクローズドループベンチマークであるKineBenchを紹介する。
論文 参考訳（メタデータ） (2026-07-22T08:04:17Z) - Flow Matching in Feature Space for Stochastic World Modeling [21.159664319255665]
本研究では,事前学習した特徴空間内で直接フローマッチングを行う世界モデルであるFlowWMを提案する。
事前訓練された特徴はかなり高次元であり、標準的な拡散レシピが最適ではないため、これは難しい。
FlowWMを2つのベンチマークで評価する: 精度と多様性の体系的評価のための総合ベンチマークと、現実のベンチマークFuturePerceptionである。
論文 参考訳（メタデータ） (2026-06-27T19:35:27Z) - PRISM: PRior-guided Imagination Sampling in world Models [7.304186330343712]
PRISMは1つのデータセットから両方を抽出するタスクに依存しないフレームワークである。
PRISMは、Cube上のバニラワールドモデルベースのMPCよりも35パーセント、PushTでは32パーセント、成功率を改善する。
論文 参考訳（メタデータ） (2026-06-06T04:18:10Z) - OneDrive: Unified Multi-Paradigm Driving with Vision-Language-Action Models [69.2503510410147]
予め訓練されたVLM上に構築した統合自動運転フレームワークを提案する。
トレーニング済みのVLMアテンションは、純粋言語モデリング以上の強い伝達性を示すことを示す。
エンドツーエンドの自動運転ベンチマークの実験は、最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2026-04-20T07:50:00Z) - DexWorldModel: Causal Latent World Modeling towards Automated Learning of Embodied Tasks [54.32016216994156]
本稿では,DINOv3特徴を生成対象として用い,視覚ノイズから相互作用意味を乱す因果潜在世界モデル(CLWM)を提案する。
メモリスケーリングを克服するため、CLWMはDual-State Test-Time Training (TTT)メモリを備えている。
EmbodiChainは、トレーニング中に物理基底軌道の無限の流れを注入することによって効率法を確立するオンラインフレームワークである。
論文 参考訳（メタデータ） (2026-04-13T03:19:36Z) - V-CAGE: Vision-Closed-Loop Agentic Generation Engine for Robotic Manipulation [6.820118518027692]
本稿では,自律型ロボットデータ合成のためのエージェントフレームワークであるV-CAGEを提案する。
従来のスクリプトパイプラインとは異なり、V-CAGEはエンボディ化されたエージェントシステムとして動作する。
大規模ビデオデータセットのストレージボトルネックを克服するために、知覚駆動圧縮アルゴリズムを実装した。
論文 参考訳（メタデータ） (2026-04-10T06:56:17Z) - RADAR: Closed-Loop Robotic Data Generation via Semantic Planning and Autonomous Causal Environment Reset [48.645870795753105]
ロボットのためのロバスト自動データ取得(RADAR)について紹介する。
RADARは完全に自律的でクローズドループのデータ生成エンジンで、収集サイクルから人間の介入を完全に取り除きます。
シミュレーションでは、複雑な長期タスクにおいて、最大90%の成功率を達成する。
論文 参考訳（メタデータ） (2026-03-12T11:18:52Z) - Future Optical Flow Prediction Improves Robot Control & Video Generation [100.87884718953099]
本稿では,VLM(Vision-Language Model)と拡散アーキテクチャを組み合わせた新しい光フロー予測モデルFOFPredを紹介する。
我々のモデルは、高度にスケーラブルだが非構造化のソースである、Webスケールの人間活動データに基づいて訓練されている。
言語駆動設定下でのロボット操作とビデオ生成による評価は、FOFPredのクロスドメインの汎用性を確立する。
論文 参考訳（メタデータ） (2026-01-15T18:49:48Z) - Scaling Up Occupancy-centric Driving Scene Generation: Dataset and Method [54.461213497603154]
作業中心の手法は、最近、フレームとモダリティをまたいだ一貫した条件付けを提供することで、最先端の結果を得た。
Nuplan-Occは、広く使われているNuplanベンチマークから構築された、これまでで最大の占有率データセットである。
高品質な占有、多視点ビデオ、LiDAR点雲を共同で合成する統合フレームワークを開発した。
論文 参考訳（メタデータ） (2025-10-27T03:52:45Z) - STAMP: Scalable Task And Model-agnostic Collaborative Perception [24.890993164334766]
STAMPは、異種エージェントのためのタスクおよびモデルに依存しない協調認識パイプラインである。
計算オーバーヘッドを最小限に抑え、スケーラビリティを高め、モデルのセキュリティを維持する。
第一種フレームワークとしてSTAMPは,スケーラブルでセキュアなモビリティシステムの研究を,レベル5の自律性に向けて進めることを目指している。
論文 参考訳（メタデータ） (2025-01-24T16:27:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。