論文の概要: FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving
- arxiv url: http://arxiv.org/abs/2505.17685v2
- Date: Wed, 29 Oct 2025 12:46:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-30 15:50:43.292444
- Title: FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving
- Title（参考訳）: FutureSightDrive: 自律運転のための時空間CoTを視覚的に考える
- Authors: Shuang Zeng, Xinyuan Chang, Mengwei Xie, Xinran Liu, Yifan Bai, Zheng Pan, Mu Xu, Xing Wei,
- Abstract要約: 本稿では,VLAを画像で考えることのできる視覚的テンポラルTフレームワークを提案する。
nuScenes と NAVSIM では、FSDrive は精度を改善し、衝突を減らす。
- 参考スコア（独自算出の注目度）: 19.81442567260658
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models are increasingly used for end-to-end driving due to their world knowledge and reasoning ability. Most prior work, however, inserts textual chains-of-thought (CoT) as intermediate steps tailored to the current scene. Such symbolic compressions can blur spatio-temporal relations and discard fine visual cues, creating a cross-modal gap between perception and planning. We propose FSDrive, a visual spatio-temporal CoT framework that enables VLAs to think in images. The model first acts as a world model to generate a unified future frame that overlays coarse but physically-plausible priors-future lane dividers and 3D boxes-on the predicted future image. This unified frame serves as the visual CoT, capturing both spatial structure and temporal evolution. The same VLA then functions as an inverse-dynamics model, planning trajectories from current observations and the visual CoT. To equip VLAs with image generation while preserving understanding, we introduce a unified pre-training paradigm that expands the vocabulary to include visual tokens and jointly optimizes VQA (for semantics) and future-frame prediction (for dynamics). A progressive easy-to-hard scheme first predicts lane/box priors to enforce physical constraints, then completes full future frames for fine details. On nuScenes and NAVSIM, FSDrive improves trajectory accuracy and reduces collisions under both ST-P3 and UniAD metrics, and attains competitive FID for future-frame generation despite using lightweight autoregression. It also advances scene understanding on DriveLM. Together, these results indicate that visual CoT narrows the cross-modal gap and yields safer, more anticipatory planning. Code is available at https://github.com/MIV-XJTU/FSDrive.
- Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、世界の知識と推論能力のために、エンド・ツー・エンドの運転にますます利用されている。
しかし、これまでのほとんどの作業は、現在のシーンに合わせた中間ステップとしてテキストチェーン(CoT)を挿入する。
このようなシンボリック圧縮は時空間関係を曖昧にし、微妙な視覚的手がかりを捨て、知覚と計画の間に相互にギャップを生じさせる。
本稿では,VLAをイメージとして考えることのできる視覚的時空間CoTフレームワークFSDriveを提案する。
このモデルはまず世界モデルとして機能し、予測された将来の画像上に、粗いが物理的に証明可能な先導線分割器と3Dボックスをオーバーレイする統一された未来フレームを生成する。
この統合されたフレームは視覚的CoTとして機能し、空間構造と時間的進化の両方をキャプチャする。
同じVLAが逆力学モデルとして機能し、現在の観測と視覚的CoTからの軌道を計画する。
理解を保ちながらVLAに画像を生成するために、視覚トークンを含む語彙を拡張し、VQA(セマンティクス)と将来のフレーム予測(ダイナミクス)を共同で最適化する統合事前学習パラダイムを導入する。
プログレッシブ・トゥ・ハードのスキームは、まず車線/ボックスを予測し、物理的制約を強制し、それから詳細のために完全な将来のフレームを完成させる。
nuScenes と NAVSIM では、FSDrive は軌道精度を向上し、ST-P3 と UniAD の両測定値による衝突を低減し、軽量な自己回帰を用いても将来のフレーム生成において競合する FID を達成する。
また、DriveLMのシーン理解も進めている。
これらの結果から,視覚的CoTはクロスモーダルギャップを狭くし,より安全で予測可能な計画を立てることが示唆された。
コードはhttps://github.com/MIV-XJTU/FSDriveで入手できる。
関連論文リスト
- AutoVLA: A Vision-Language-Action Model for End-to-End Autonomous Driving with Adaptive Reasoning and Reinforcement Fine-Tuning [42.409352964719204]
Vision-Language-Action(VLA)モデルは、エンドツーエンドの自動運転を約束している。
現在のVLAモデルは、物理的に実現不可能なアクション出力、複雑なモデル構造、あるいは不要に長い推論に苦しむ。
本稿では,単一自己回帰生成モデル内での推論と行動生成を統一する新しいVLAモデルであるAutoVLAを提案する。
論文 参考訳（メタデータ） (2025-06-16T17:58:50Z) - DriveX: Omni Scene Modeling for Learning Generalizable World Knowledge in Autonomous Driving [20.197094443215963]
本稿では、動画から一般的なシーンのダイナミクスと全体像を学習する自己教師型世界モデルDriveXを提案する。
DriveXは,マルチモーダル監視3Dポイントクラウド予測,2Dセマンティック表現,イメージ生成を統合するモジュールであるOmni Scene Modeling (OSM)を導入した。
下流適応のために我々は,DriveXの予測から特徴を動的に集約し,タスク固有の推論を強化する統一パラダイムであるFuture Spatial Attention (FSA)を設計する。
論文 参考訳（メタデータ） (2025-05-25T17:27:59Z) - CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。
視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。
実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
論文 参考訳（メタデータ） (2025-03-27T22:23:04Z) - A Survey of World Models for Autonomous Driving [63.33363128964687]
自律運転の最近の進歩は、堅牢な世界モデリングの進歩によって推進されている。
世界モデルは、マルチセンサーデータ、セマンティックキュー、時間ダイナミクスを統合する駆動環境の高忠実度表現を提供する。
本稿では、自律運転の世界モデルにおける最近の進歩を体系的にレビューする。
論文 参考訳（メタデータ） (2025-01-20T04:00:02Z) - Multi-scale Temporal Fusion Transformer for Incomplete Vehicle Trajectory Prediction [23.72022120344089]
運動予測は自律運転システムにおいて重要な役割を果たす。
不完全な車両軌道予測のための新しいエンドツーエンドフレームワークを提案する。
道路交通シナリオと都市交通シナリオから得られた4つのデータセットについて,提案モデルの評価を行った。
論文 参考訳（メタデータ） (2024-09-02T02:36:18Z) - BEVWorld: A Multimodal World Simulator for Autonomous Driving via Scene-Level BEV Latents [56.33989853438012]
BEVWorldは,マルチモーダルセンサ入力を統一的でコンパクトなBird's Eye View潜在空間に変換し,全体的環境モデリングを行うフレームワークである。
提案する世界モデルは,多モードトークン化器と遅延BEVシーケンス拡散モデルという2つの主要成分から構成される。
論文 参考訳（メタデータ） (2024-07-08T07:26:08Z) - AMP: Autoregressive Motion Prediction Revisited with Next Token Prediction for Autonomous Driving [59.94343412438211]
本稿では,GPT方式の次のトークン動作予測を動作予測に導入する。
同種単位-ワードからなる言語データとは異なり、運転シーンの要素は複雑な空間的・時間的・意味的な関係を持つ可能性がある。
そこで本稿では,情報集約と位置符号化スタイルの異なる3つの因子化アテンションモジュールを用いて,それらの関係を捉えることを提案する。
論文 参考訳（メタデータ） (2024-03-20T06:22:37Z) - GenAD: Generative End-to-End Autonomous Driving [13.332272121018285]
GenADは、ジェネレーティブモデリング問題に自律運転を組み込むジェネレーティブフレームワークである。
本稿では,まず周囲のシーンをマップ対応のインスタンストークンに変換するインスタンス中心のシーントークン化手法を提案する。
次に、変動型オートエンコーダを用いて、軌道先行モデリングのための構造潜在空間における将来の軌道分布を学習する。
論文 参考訳（メタデータ） (2024-02-18T08:21:05Z) - Context-Aware Timewise VAEs for Real-Time Vehicle Trajectory Prediction [4.640835690336652]
マルチモーダル車軌道予測のためのコンテキスト認識手法であるContextVAEを提案する。
本手法は,現場のエージェントが提示する社会的特徴と,身体環境の制約を考慮に入れたものである。
すべてのテストデータセットにおいて、ContextVAEモデルはトレーニングが高速で、リアルタイムに高品質なマルチモーダル予測を提供する。
論文 参考訳（メタデータ） (2023-02-21T18:42:24Z) - ST-P3: End-to-end Vision-based Autonomous Driving via Spatial-Temporal
Feature Learning [132.20119288212376]
本稿では,認識,予測,計画タスクを同時に行うための,より代表的な特徴の集合に対する時空間的特徴学習手法を提案する。
私たちの知識を最大限に活用するために、私たちは、解釈可能なエンドツーエンドの自動運転システムの各部分を体系的に調査した最初の人です。
論文 参考訳（メタデータ） (2022-07-15T16:57:43Z) - CARNet: A Dynamic Autoencoder for Learning Latent Dynamics in Autonomous
Driving Tasks [11.489187712465325]
自律運転システムは、世界の抽象的な記述を形成するために、様々なセンサから収集した情報を効果的に活用すべきである。
オートエンコーダのようなディープラーニングモデルは、受信データのストリームからコンパクトな潜在表現を学習できるため、その目的のために使用できる。
この研究は、自動エンコーダとリカレントニューラルネットワークを組み合わせて現在の潜伏表現を学習する、複合dynAmicautoencodeRネットワークアーキテクチャであるCARNetを提案する。
論文 参考訳（メタデータ） (2022-05-18T04:15:42Z) - Implicit Latent Variable Model for Scene-Consistent Motion Forecasting [78.74510891099395]
本稿では,センサデータから直接複雑な都市交通のシーン一貫性のある動き予測を学習することを目的とする。
我々は、シーンを相互作用グラフとしてモデル化し、強力なグラフニューラルネットワークを用いてシーンの分散潜在表現を学習する。
論文 参考訳（メタデータ） (2020-07-23T14:31:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。