論文の概要: DriveUniTok: A Unified Multimodal Tokenizer for Driving World-Action Models
- arxiv url: http://arxiv.org/abs/2610.35044v1
- Date: Mon, 26 Oct 2026 08:55:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.801421
- Title: DriveUniTok: A Unified Multimodal Tokenizer for Driving World-Action Models
- Title（参考訳）: DriveUniTok:World-Action Modelを駆動する統合マルチモーダルトケナイザ
- Abstract要約: 現実のエージェントのためのポリシー学習の基本的な構成要素として、世界モデルが生まれつつある。
しかし、既存のアプローチは、しばしばモデル外見、射影されたLiDAR深さで表されるメートル法、エゴ運動を部分的にまたは独立的に表現する。
本稿では,世界行動モデル(WAM)を駆動するための統合マルチモーダルトークンであるDriveUniTokを提案する。
- 参考スコア（独自算出の注目度）: 25.03246250742686
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World models are emerging as a fundamental component of policy learning for real-world agents, enabling agents to predict future world states and plan actions within a learned representation of the dynamic environment. Existing approaches, however, often model appearance, metric geometry represented by projected LiDAR depth, and ego motion either partially or independently, overlooking the fact that these modalities are different projections of a shared underlying world state. This separation can lead to information loss and cross-modal inconsistency, ultimately limiting downstream performance. Motivated by this unified view of the world, we propose DriveUniTok, a unified multimodal tokenizer for driving world-action models (WAMs) that encodes these modalities in a single decodable continuous latent. We freeze DriveUniTok and adapt a pretrained diffusion model, DriveUniWAM, to predict future unified latents; the tokenizer then decodes them into future appearance, projected LiDAR depth, and ego trajectories. Experiments on NAVSIM demonstrate that our unified design achieves better future prediction and planning performance at lower downstream computational cost than separate-stream alternatives. With reinforcement learning post-training, DriveUniWAM achieves a PDMS of 91.54, reaching state-of-the-art performance among the evaluated WAM-based planners.
- Abstract（参考訳）: 世界モデルは、現実のエージェントのためのポリシー学習の基本的な構成要素として現れており、エージェントは未来の世界の状態を予測し、動的環境の学習された表現内でアクションを計画することができる。
しかしながら、既存のアプローチでは、しばしばモデル外見、射影されたLiDAR深さで表される計量幾何学、エゴ運動は部分的にも独立的にも、これらのモダリティが共有される世界状態の異なる射影であるという事実を見越す。
この分離により、情報損失とクロスモーダルな不整合が生じ、最終的に下流のパフォーマンスが制限される。
この統合された世界観に触発されたDriveUniTokは、世界行動モデル(WAM)を駆動するための統一マルチモーダルトークンであり、これらのモダリティを1つの復調可能な連続潜水器にエンコードする。
DriveUniTokを凍結し、事前訓練された拡散モデルであるDriveUniWAMを適用して、将来の統合された潜伏者を予測し、トークン化器はそれらを将来の外観、LiDAR深さ、エゴ軌道にデコードする。
NAVSIMの実験により、我々の統一設計は、下流の計算コストの低い計算コストで、より将来的な予測と計画性能を実現することを示した。
強化学習後、DriveUniWAMは91.54のPDMSを達成し、評価されたWAMベースのプランナーの中で最先端の性能を達成した。
関連論文リスト
- From World Action Models to Embodied Brains: A Roadmap for Open-World Physical Intelligence [54.62791372989525]
アクションモデル、ビジョン言語-アクションポリシー、世界モデルは、この目標を前進させた。
世界行動モデル(WAM)は、候補者の介入と予測された結果とを結びつけるため、特に有望である。
我々は、WAMへの進化をレビューし、これらの制限をモデルの役割と表現、目的と標準化、システム構成という3つの組み合わせのギャップにまとめる。
論文 参考訳（メタデータ） (2026-07-13T15:22:56Z) - ReWorld: Learning Better Representations for World Action Models [41.92917169094194]
世界行動モデル(WAM)は、行動条件下での将来の環境進化をモデル化する。
WAM向けに設計された最初の表現学習フレームワークであるReWorldを提案する。
ReWorldは、FVDの微調整ビデオ生成を23.9%改善することを示す。
論文 参考訳（メタデータ） (2026-06-25T19:37:58Z) - NavWM: A Unified Navigation World Model for Foresight-Driven Planning [15.801647085785826]
NavWMは、潜在世界推論、マルチモーダルアクション予測、制御可能な視覚生成をシームレスに統合する統合ナビゲーションワールドモデルである。
決定論的なポリシーの限界を克服するために、我々はアンカーベースのマルチモーダル軌道予測フレームワークを導入する。
多様なデータセットにわたる実験により、NavWMは最先端の技術を著しく進歩させることが示された。
論文 参考訳（メタデータ） (2026-06-23T03:30:20Z) - Discrete-WAM: Unified Discrete Vision-Action Token Editing for World-Policy Learning [28.162567330430928]
我々は、視覚的観察、将来の状態、ハイレベルな決定、共有トークン空間内のエゴアクションを表す統合されたビジョンアクション世界政治フレームワークであるDiscrete-WAMを紹介する。
この離散的なアライメントに基づいて、離散WAMは、マルチタスクとマルチステージ事前トレーニングを通じて、ワールド・モデリング、ワールド・ポリティクス・モデリング、ポリシー・モデリングを共同で訓練する。
実験により、離散WAMは、制御可能な将来の生成、対実評価、サプライズベースのワールドモデル分析、効率的な並列ポリシー復号をサポートしながら、強い計画性能を達成することが示された。
論文 参考訳（メタデータ） (2026-06-04T03:16:31Z) - HEAT: Heterogeneous End-to-End Autonomous Driving via Trajectory-Guided World Models [50.18051979020699]
エンドツーエンドの自動運転は、従来のモジュラーパイプラインに代わる魅力的な代替手段として登場した。
本稿では,計画軌道に関する学習を組織する軌道駆動学習パラダイムを提案する。
一つの統一モデルが、各ドメイン内で強いパフォーマンスを維持しながら、異種データセット上でトレーニング可能であることを示す。
論文 参考訳（メタデータ） (2026-05-19T10:12:01Z) - Uni-World VLA: Interleaved World Modeling and Planning for Autonomous Driving [52.04950569530877]
我々は、将来のフレーム予測と軌道計画の密接なインターリーブを行う統合視覚言語行動モデルUni-World VLAを提案する。
提案手法は,高忠実度将来のフレーム予測を行いながら,競合する閉ループ計画性能を実現する。
論文 参考訳（メタデータ） (2026-03-28T14:39:51Z) - ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model [53.15040805435013]
視覚言語モデル(VLM)は、一様にサンプリングされたフレームを解析することで、強力なセマンティックグラウンドと一般的な知識を提供する。
本稿では,高密度フレーム・ダイナミックス・モデリングと長軸意味指導を組み合わせたVLM誘導型JEPA型潜在世界モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-23T17:59:42Z) - UniDWM: Towards a Unified Driving World Model via Multifaceted Representation Learning [10.275940472665647]
我々は,多面的表現学習を通じて自律運転を促進する統一運転世界モデルUniDWMを提案する。
UniDWMは、物理的に基底化された状態空間として機能する構造と動的に認識された潜在世界表現を構築する。
論文 参考訳（メタデータ） (2026-02-02T02:10:51Z) - Scaling Up Occupancy-centric Driving Scene Generation: Dataset and Method [54.461213497603154]
作業中心の手法は、最近、フレームとモダリティをまたいだ一貫した条件付けを提供することで、最先端の結果を得た。
Nuplan-Occは、広く使われているNuplanベンチマークから構築された、これまでで最大の占有率データセットである。
高品質な占有、多視点ビデオ、LiDAR点雲を共同で合成する統合フレームワークを開発した。
論文 参考訳（メタデータ） (2025-10-27T03:52:45Z) - From Forecasting to Planning: Policy World Model for Collaborative State-Action Prediction [57.56072009935036]
政策世界モデル(PWM)と呼ばれる新しい運転パラダイムを導入する。
PWMは、統一アーキテクチャ内での世界モデリングと軌道計画を統合する。
提案手法は,マルチビューおよびマルチモーダル入力に依存する最先端の手法に適合するか,あるいは超越する。
論文 参考訳（メタデータ） (2025-10-22T14:57:51Z) - Imagine-2-Drive: Leveraging High-Fidelity World Models via Multi-Modal Diffusion Policies [9.639797094021988]
World Model-based Reinforcement Learning (WMRL)は、効率的な政策学習を可能にする。
マルチモーダル拡散型ポリシーアクタと高忠実度世界モデルを統合する新しいWMRLフレームワークであるImagine-2-Driveを提案する。
DiffDreamer内のDPAをトレーニングすることにより,オンラインインタラクションを最小限に抑えた堅牢なポリシー学習を実現する。
論文 参考訳（メタデータ） (2024-11-15T13:17:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。