論文の概要: VITAL: From Visual Motion to Precise Action

• arxiv url: http://arxiv.org/abs/2610.20604v1
• Date: Wed, 14 Oct 2026 17:59:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.301304
• Title: VITAL: From Visual Motion to Precise Action
• Title（参考訳）: VITAL: 視覚運動から精密アクションへ
• Abstract要約: 本稿では,視覚的に派生した足場と,足場が残した軌道誤差をコンパクトに符号化する動作トークンであるVITALを紹介する。 1つのアクションデノイングステップのみで、VITALはNAVSIM v1ナブテストで90.8 PDMSを達成し、その10ステップスコアの0.13ポイント以内で、エンドツーエンドの推論速度の3.29倍となる。
• 参考スコア（独自算出の注目度）: 40.01430382529045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: World-action models aim to turn visual anticipation into driving decisions, yet typically train action experts on trajectory representations defined independently of visual dynamics. This motivates deriving action targets directly from visual motion. We first examine a simpler setting in which trajectories are reconstructed from recorded future images. Even without the need for future prediction, reconstruction captures the dominant maneuver but leaves centimeter-scale errors. We therefore introduce VITAL (Vision-Induced Tokens for Action Learning), an action tokenizer that couples a visually derived motion scaffold with a compact residual encoding the trajectory error left by that scaffold. This representation makes visual motion the principal prediction target and gives small metric corrections a separate, normalized learning scale. Using flow matching, the action expert jointly predicts both components from the current image, ego state, and navigation command, without generating future images at inference. The same residual coordinates support bounded reinforcement post-training that refines execution while keeping the predicted visual scaffold fixed. With only one action denoising step, VITAL achieves 90.8 PDMS on NAVSIM v1 navtest, within 0.13 points of its ten-step score at 3.29x the end-to-end inference speed. Without retraining, it achieves 91.1 EPDMS on NAVSIM v2 navtest and 38.6 on navhard. Project page: https://worldbench.github.io/vital
• Abstract（参考訳）: 世界行動モデルは、視覚的予測を駆動決定に変換することを目的としているが、通常、視覚力学とは独立して定義された軌跡表現について行動専門家を訓練する。 これは視覚運動から直接行動目標を導出する動機である。 まず、記録された将来の画像から軌跡を再構成する簡単な設定について検討する。 将来の予測を必要とせずとも、再建は支配的な操作を捕捉するが、センチメートル規模のエラーを残している。 そこで我々は、視覚的に派生した運動足場と、その足場が残した軌道誤差を符号化したコンパクトな残差とを結合するアクショントークンであるVITAL(Vision-induced Tokens for Action Learning)を導入する。 この表現は、視覚運動を主予測対象とし、小さなメートル法補正に別個の正規化学習尺度を与える。 フローマッチングを使用することで、アクションエキスパートは、将来のイメージを推論時に生成することなく、現在のイメージ、エゴ状態、ナビゲーションコマンドから両方のコンポーネントを共同で予測する。 同じ残差座標は、予測された視覚的足場を固定しながら実行を洗練させる境界強化後訓練をサポートする。 1つのアクションデノイングステップのみで、VITALはNAVSIM v1ナブテストで90.8 PDMSを達成し、その10ステップスコアの0.13ポイント以内で、エンドツーエンドの推論速度の3.29倍となる。 再訓練なしでは、NAVSIM v2 で 91.1 EPDMS、Navhard で 38.6 を達成する。 プロジェクトページ: https://worldbench.github.io/vital

関連論文リスト

• Beyond Actions: Learning Future Operation Targets for Vision-Language-Action Models [56.97744308982891]
  本稿では,将来的な物理的効果を政策の主要な予測対象とするアクション-フューチャー結合効果学習(AFCE)を紹介する。 AFCEは50.97%$で、それぞれ$_0.5$、UVTを11.82ポイント、UVTを15.21ポイント改善している。
  論文  参考訳（メタデータ） (2026-10-09T08:29:46Z)
• DiffWAM: A Fast and Efficient Navigation World Action Model [12.22319339154881]
  DiffWAMは、多レベル予測機能を連続カメラ軌道に変換するナビゲーションワールドアクションモデルである。 Grid-Motionモジュールは空間的時間的動きの関連を保ち、Latnt2Poseはそれらを第1フレームの形状でグラウンドして3Dモーションを復元する。 FastDreamerは、連続UAV実行のためにタイムスタンプ対応のトラジェクトリハンドオフを実行する。
  論文  参考訳（メタデータ） (2026-09-30T13:57:26Z)
• LightNav-0: Eliciting VLM Spatial Intelligence for Generalist Embodied Navigation [52.91080323083409]
  エージェントは異質な目標や視覚的な観察をタスク、環境、ロボットの体現物に翻訳する必要がある。 ここでは,タスク固有の予測ヘッドを使わずに,予め訓練されたVLMの空間的知性を取り入れた,コンパクトな一般化型ナビゲーションモデルLightNav-0を提案する。
  論文  参考訳（メタデータ） (2026-08-31T15:08:53Z)
• UniNav: A Unified World-Action Diffusion Model for Visual Navigation [11.306354032449603]
  将来的な視覚的観察と連続的なウェイポイント軌跡を生成する統一世界行動モデルUniNavを提案する。 履歴フレームとゴールイメージが与えられた場合、UniNavは単一のトランスフォーマー内で視覚トークンとウェイポイントトークンを共同で識別する。 ナビゲーションベンチマークの実験では、UniNavはすべてのデータセットでATEで最強のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-08-04T07:15:45Z)
• Grounding Driving VLA via Inverse Kinematics [32.65844881404964]
  トラジェクトリリカバリは,境界条件として,電流と将来の視覚状態の両方を必要とすることを示す。 我々は,逆キネマティクス解法を用いて駆動VLAを再設計する。 この単純な処方令だけで、0.5Bスケールのモデルは視覚的接地を回復し、7B--8B VLAに匹敵する軌道計画性能に達する。
  論文  参考訳（メタデータ） (2026-05-20T11:45:32Z)
• DiffusionAnything: End-to-End In-context Diffusion Learning for Unified Navigation and Pre-Grasp Motion [2.061143628317803]
  最近の視覚言語アクション(VLA)モデルは、視覚入力から直接アクションを推測するが、膨大な計算資源を必要とする。 本稿では,画像空間の拡散を統一的に行うことで,距離空間のナビゲーションとセンチメートルの操作を両立させる。 このモデルは、新規シーンへの堅牢なゼロショットの一般化を実現しつつ、オンボード展開に適している。
  論文  参考訳（メタデータ） (2026-03-27T11:40:13Z)
• Learning to Localize Reference Trajectories in Image-Space for Visual Navigation [11.2075405205209]
  ロボットに依存しない画像空間ガイダンスを提供する視覚ナビゲーションモデルであるLoTISを提案する。 特定のロボットに関連付けられた動作を予測する代わりに、ロボットの現在のビューに現れるように、参照軌道のイメージ空間座標を予測する。 我々のモデルの予測は、多様な実施形態をまたいだゼロショットのガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-02-21T11:33:00Z)
• Early Action Recognition with Action Prototypes [62.826125870298306]
  本稿では,各クラスに対するフルアクションのプロトタイプ表現を学習する新しいモデルを提案する。 映像を短いクリップに分解し、視覚エンコーダがそれぞれのクリップから特徴を独立して抽出する。 その後、デコーダは、最終クラスの予測のために、すべてのクリップからオンラインのファッション機能として集約される。
  論文  参考訳（メタデータ） (2023-12-11T18:31:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。