論文の概要: Metis: A Generalizable and Efficient World-Action Model for Autonomous Driving and Urban Navigation
- arxiv url: http://arxiv.org/abs/2606.15869v1
- Date: Sun, 14 Jun 2026 15:40:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.9019
- Title: Metis: A Generalizable and Efficient World-Action Model for Autonomous Driving and Urban Navigation
- Title（参考訳）: Metis: 自律走行と都市ナビゲーションのための汎用的で効率的な世界行動モデル
- Abstract要約: 世界アクションモデルは、自動運転と都市ナビゲーションに非常に有望だ。
既存のアプローチには、重要な制限がある。
我々は,映像生成とアクション予測を分離するエンドツーエンドのWAMフレームワークであるMetisを提案する。
- 参考スコア（独自算出の注目度）: 80.18527639791074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World action models~(WAMs) have shown great promise for autonomous driving and urban navigation. Built upon Vision-Language-Action models or video generation models, existing approaches suffer key limitations: (1) High inference latency due to future observation prediction at test time, and (2) tightly coupled video and action modeling leading to representational mismatch and degraded generalization. To address both issues, we propose Metis, an end-to-end WAM framework that decouples video generation and action prediction. Specifically, Metis employs a Mixture-of-Transformers architecture with dedicated experts for video generation and action prediction, preserving the intrinsic distributional properties of each task. To enhance efficiency, we introduce an asymmetric attention mask that enables joint training of both experts while allowing the action model to bypass explicit video generation during inference. This design ensures training-inference consistency and significantly reduces computational costs without compromising planning performance. Extensive experiments demonstrate state-of-the-art performance on the NAVSIM navhard and navtest benchmarks and the CityWalker navigation benchmark, validating both the generalizability and efficiency across diverse tasks. Real-robot deployments further confirm the practical feasibility of our approach.
- Abstract（参考訳）: World Action Model~(WAM)は、自動運転と都市ナビゲーションに大きな可能性を示しています。
ビジョン・ランゲージ・アクションモデルやビデオ生成モデルに基づいて構築された既存のアプローチは,(1)将来の観測予測による予測遅延の増大,(2)表現ミスマッチやデグレード一般化につながる密結合なビデオとアクションモデリングといった,重要な制約を被っている。
両問題に対処するため,ビデオ生成とアクション予測を分離するエンドツーエンドのWAMフレームワークであるMetisを提案する。
具体的には、Mixture-of-Transformersアーキテクチャを採用し、ビデオ生成とアクション予測を専門とする。
提案手法では,非対称なアテンションマスクを導入し,両専門家の協調訓練を可能とし,アクションモデルが推論中に明示的な映像生成を回避できるようにする。
この設計は、トレーニングと推論の整合性を保証し、計画性能を損なうことなく計算コストを大幅に削減する。
NAVSIMのnavhardとnavtestのベンチマークとCityWalkerのナビゲーションベンチマークでは、さまざまなタスクにおける一般化性と効率性の両立が実証されている。
実際のロボットの配備は、我々のアプローチの実用性をさらに確認します。
関連論文リスト
- Vid2WAM: Distilling Video Diffusion Priors into World Action Models [59.28345153395937]
世界行動モデル(WAM)は、将来の視覚力学とアクションを共同でモデル化することで、ロボットポリシー学習を改善する。
大規模なビデオ基礎モデルからコンパクトなWAM学生へ視覚拡散を先取りするオフライン蒸留フレームワークであるVid2WAMを提案する。
Vid2WAMは、限られた専門家によるデモンストレーションにおいて、新しいタスクの一般化とデータ効率を向上させる。
論文 参考訳（メタデータ） (2026-08-09T08:02:49Z) - SimWAM: A Simple World Action Model for End-to-End Autonomous Driving [66.93548079427477]
我々は、将来の映像予測を訓練時間監視信号として活用する、シンプルで効果的なWAMであるSimWAMを提案する。
孤立した注意マスクは、将来のフレームとは独立して行動予測を保持し、推論時に明示的な将来のフレーム生成なしに軌道予測を可能にする。
我々のSimWAMは、NAVSIM上の91.5 PDMSを達成し、最先端のWAMベースのプランナをはるかに低レイテンシで超越し、ゼロショットをnuScenesに転送する。
論文 参考訳（メタデータ） (2026-08-07T17:59:09Z) - Efficient-WAM: A 1B-Parameter World-Action Model with Low-Cost Future Imagination [45.6948544726412]
World-Action Models (WAM) は未来の視覚予測とアクション生成を結合する。
ほとんどの既存のWAMは将来の予測に依存しており、高い推論遅延を引き起こし、リアルタイムロボットのデプロイを困難にしている。
本稿では,その制御利益を保ちつつ,将来の想像力のコストを低減させるワールド・アクション・モデルであるEfficient-WAMを紹介する。
論文 参考訳（メタデータ） (2026-06-08T18:14:08Z) - HarmoWAM: Harmonizing Generalizable and Precise Manipulation via Adaptive World Action Models [58.191567345416836]
世界行動モデル(WAM)は、物理力学のモデリングによるロボット制御のための有望なパラダイムとして登場した。
HarmoWAMは、予測と反応の制御を統一するために世界モデルを完全に活用し、一般的なトランジットと正確な操作を可能にする。
実世界の6つのロボットタスクにまたがる3つのトレーニング未確認テスト環境を構築し、背景、位置、オブジェクトの意味のバリエーションをカバーした。
論文 参考訳（メタデータ） (2026-05-11T17:59:56Z) - GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。
実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
論文 参考訳（メタデータ） (2026-03-18T00:52:02Z) - Causal World Modeling for Robot Control [56.31803788587547]
ビデオワールドモデルは、アクションと視覚力学の因果関係を理解することによって、近い将来に想像できる能力を提供する。
本稿では,フレーム予測とポリシ実行を同時に学習する自動回帰拡散フレームワークLingBot-VAを紹介する。
シミュレーションベンチマークと実世界のシナリオの両方でモデルを評価したところ、長距離操作、ポストトレーニングにおけるデータ効率、新しい構成への強力な一般化性などに大きな可能性を示唆している。
論文 参考訳（メタデータ） (2026-01-29T17:07:43Z) - mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs [5.109732854501585]
そこで我々は,事前学習したインターネットスケールのビデオモデルと,その潜在表現に条件付けされたフローマッチングに基づくアクションデコーダを組み合わせた,新しいビデオ・アクション・モデル(VAM)を提案する。
提案手法は,シミュレーションおよび実世界のロボット操作タスクにおける最先端性能を実現し,サンプル効率を10倍,収束速度を2倍向上させる。
論文 参考訳（メタデータ） (2025-12-17T18:47:31Z) - From Seeing to Experiencing: Scaling Navigation Foundation Models with Reinforcement Learning [59.88543114325153]
本稿では,航法基礎モデルの強化学習能力を高めるためのSeeing-to-Experiencingフレームワークを提案する。
S2Eは、ビデオの事前トレーニングとRLによるポストトレーニングの長所を組み合わせたものだ。
実世界のシーンを3DGSで再現した3D画像に基づく総合的なエンドツーエンド評価ベンチマークであるNavBench-GSを構築した。
論文 参考訳（メタデータ） (2025-07-29T17:26:10Z) - DrivingGPT: Unifying Driving World Modeling and Planning with Multi-modal Autoregressive Transformers [61.92571851411509]
我々は、インターリーブ画像とアクショントークンに基づくマルチモーダル駆動言語を導入し、共同世界モデリングと計画を学ぶためのDrivingGPTを開発した。
我々のDrivingGPTは、アクション条件付きビデオ生成とエンドツーエンドプランニングの両方において強力なパフォーマンスを示し、大規模なnuPlanとNAVSIMベンチマークにおいて強力なベースラインを達成しています。
論文 参考訳（メタデータ） (2024-12-24T18:59:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。