論文の概要: FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2505.17685v2
• Date: Wed, 29 Oct 2025 12:46:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:43.292444
• Title: FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving
• Title（参考訳）: FutureSightDrive: 自律運転のための時空間CoTを視覚的に考える
• Authors: Shuang Zeng, Xinyuan Chang, Mengwei Xie, Xinran Liu, Yifan Bai, Zheng Pan, Mu Xu, Xing Wei,
• Abstract要約: 本稿では,VLAを画像で考えることのできる視覚的テンポラルTフレームワークを提案する。 nuScenes と NAVSIM では、FSDrive は精度を改善し、衝突を減らす。
• 参考スコア（独自算出の注目度）: 19.81442567260658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models are increasingly used for end-to-end driving due to their world knowledge and reasoning ability. Most prior work, however, inserts textual chains-of-thought (CoT) as intermediate steps tailored to the current scene. Such symbolic compressions can blur spatio-temporal relations and discard fine visual cues, creating a cross-modal gap between perception and planning. We propose FSDrive, a visual spatio-temporal CoT framework that enables VLAs to think in images. The model first acts as a world model to generate a unified future frame that overlays coarse but physically-plausible priors-future lane dividers and 3D boxes-on the predicted future image. This unified frame serves as the visual CoT, capturing both spatial structure and temporal evolution. The same VLA then functions as an inverse-dynamics model, planning trajectories from current observations and the visual CoT. To equip VLAs with image generation while preserving understanding, we introduce a unified pre-training paradigm that expands the vocabulary to include visual tokens and jointly optimizes VQA (for semantics) and future-frame prediction (for dynamics). A progressive easy-to-hard scheme first predicts lane/box priors to enforce physical constraints, then completes full future frames for fine details. On nuScenes and NAVSIM, FSDrive improves trajectory accuracy and reduces collisions under both ST-P3 and UniAD metrics, and attains competitive FID for future-frame generation despite using lightweight autoregression. It also advances scene understanding on DriveLM. Together, these results indicate that visual CoT narrows the cross-modal gap and yields safer, more anticipatory planning. Code is available at https://github.com/MIV-XJTU/FSDrive.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、世界の知識と推論能力のために、エンド・ツー・エンドの運転にますます利用されている。 しかし、これまでのほとんどの作業は、現在のシーンに合わせた中間ステップとしてテキストチェーン(CoT)を挿入する。 このようなシンボリック圧縮は時空間関係を曖昧にし、微妙な視覚的手がかりを捨て、知覚と計画の間に相互にギャップを生じさせる。 本稿では,VLAをイメージとして考えることのできる視覚的時空間CoTフレームワークFSDriveを提案する。 このモデルはまず世界モデルとして機能し、予測された将来の画像上に、粗いが物理的に証明可能な先導線分割器と3Dボックスをオーバーレイする統一された未来フレームを生成する。 この統合されたフレームは視覚的CoTとして機能し、空間構造と時間的進化の両方をキャプチャする。 同じVLAが逆力学モデルとして機能し、現在の観測と視覚的CoTからの軌道を計画する。 理解を保ちながらVLAに画像を生成するために、視覚トークンを含む語彙を拡張し、VQA(セマンティクス)と将来のフレーム予測(ダイナミクス)を共同で最適化する統合事前学習パラダイムを導入する。 プログレッシブ・トゥ・ハードのスキームは、まず車線/ボックスを予測し、物理的制約を強制し、それから詳細のために完全な将来のフレームを完成させる。 nuScenes と NAVSIM では、FSDrive は軌道精度を向上し、ST-P3 と UniAD の両測定値による衝突を低減し、軽量な自己回帰を用いても将来のフレーム生成において競合する FID を達成する。 また、DriveLMのシーン理解も進めている。 これらの結果から,視覚的CoTはクロスモーダルギャップを狭くし,より安全で予測可能な計画を立てることが示唆された。 コードはhttps://github.com/MIV-XJTU/FSDriveで入手できる。

関連論文リスト

• Chain of World: World Model Thinking in Latent Motion [24.24061036481793]
  VLA(Vision-Language-Action)モデルはしばしば、視覚力学の基礎となる予測的・時間的・因果的構造を見落としている。 我々は,世界モデルの時間的推論を非絡み合いの潜在動作表現と統合する新しい「世界の連鎖」パラダイムであるCoWVLAを紹介した。 CoWVLAは、既存のワールドモデルおよび潜在アクションアプローチより優れ、適度な計算効率を達成する。
  論文  参考訳（メタデータ） (2026-03-03T17:52:06Z)
• Generative Scenario Rollouts for End-to-End Autonomous Driving [58.99809446189301]
  VLA(Vision-Language-Action)モデルは、エンドツーエンドの自動運転システムの高効率な計画モデルとして登場している。 本稿では,VLAモデルのためのプラグイン・アンド・プレイフレームワークであるGenerative Scenario Rollouts (GeRo)を提案する。
  論文  参考訳（メタデータ） (2026-01-16T17:59:28Z)
• UniDrive-WM: Unified Understanding, Planning and Generation World Model For Autonomous Driving [29.623672055601418]
  本稿では,運転シーン理解,軌道計画,軌跡条件付き将来の画像生成を共同で行う,統一VLMベースの世界モデルを提案する。 Bench2Driveベンチマークの実験では、UniDrive-WMは高忠実な将来の画像を生成し、L2軌道誤差が5.9%、衝突速度が9.2%向上している。
  論文  参考訳（メタデータ） (2026-01-07T23:49:52Z)
• FutureX: Enhance End-to-End Autonomous Driving via Latent Chain-of-Thought World Model [103.2513470454204]
  FutureXは、エンド・ツー・エンドのプランナを強化し、将来のシーンの遅延推論と軌道修正を通じて複雑な動作計画を実行するパイプラインである。 FutureXは、より合理的な運動計画と衝突を減らすことで、効率を損なうことなく既存の方法を強化する。
  論文  参考訳（メタデータ） (2025-12-12T02:12:49Z)
• Future-Aware End-to-End Driving: Bidirectional Modeling of Trajectory Planning and Scene Evolution [96.25314747309811]
  将来的なシーンの進化と軌道計画を共同でモデル化する,新たなエンドツーエンドフレームワークであるSeerDriveを紹介する。 本手法はまず,周辺環境の動態を予測するために,将来の鳥眼ビュー(BEV)の表現を予測する。 2つの重要な要素がこれを可能にする:(1)予測されたBEV機能を軌道プランナーに注入する将来対応計画、(2)反復的なシーンモデリングと車両計画。
  論文  参考訳（メタデータ） (2025-10-13T07:41:47Z)
• FlowDrive: Energy Flow Field for End-to-End Autonomous Driving [50.89871153094958]
  FlowDriveは、物理的に解釈可能なエネルギーベースのフローフィールドを導入し、セマンティックな前提と安全性をBEV空間にエンコードする新しいフレームワークである。 NAVSIM v2ベンチマークの実験では、FlowDriveが最先端のパフォーマンスを86.3で達成し、安全性と計画品質の両方において以前のベースラインを超えたことが示されている。
  論文  参考訳（メタデータ） (2025-09-17T13:51:33Z)
• KEPT: Knowledge-Enhanced Prediction of Trajectories from Consecutive Driving Frames with Vision-Language Models [19.625631486595505]
  本稿では,知識に富んだ視覚言語フレームワークであるKEPTを紹介する。 連続するフロントビュー駆動フレームから直接エゴ軌道を予測する。 オープンループプロトコル間の最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-09-03T03:10:42Z)
• FastDriveVLA: Efficient End-to-End Driving via Plug-and-Play Reconstruction-based Token Pruning [75.80110543049783]
  我々は,自律運転のための再建型視覚トークンプルーニングフレームワークであるFastDriveVLAを提案する。 VLAモデルの視覚的エンコーダにReconPrunerを訓練するために, 新たなフォアグラウンド逆バックグラウンド再構築戦略を考案した。 提案手法は,異なるプルーニング比におけるnuScenesオープンループ計画ベンチマークの最先端結果を実現する。
  論文  参考訳（メタデータ） (2025-07-31T07:55:56Z)
• AutoVLA: A Vision-Language-Action Model for End-to-End Autonomous Driving with Adaptive Reasoning and Reinforcement Fine-Tuning [42.409352964719204]
  Vision-Language-Action(VLA)モデルは、エンドツーエンドの自動運転を約束している。 現在のVLAモデルは、物理的に実現不可能なアクション出力、複雑なモデル構造、あるいは不要に長い推論に苦しむ。 本稿では,単一自己回帰生成モデル内での推論と行動生成を統一する新しいVLAモデルであるAutoVLAを提案する。
  論文  参考訳（メタデータ） (2025-06-16T17:58:50Z)
• DriveX: Omni Scene Modeling for Learning Generalizable World Knowledge in Autonomous Driving [20.197094443215963]
  本稿では、動画から一般的なシーンのダイナミクスと全体像を学習する自己教師型世界モデルDriveXを提案する。 DriveXは,マルチモーダル監視3Dポイントクラウド予測,2Dセマンティック表現,イメージ生成を統合するモジュールであるOmni Scene Modeling (OSM)を導入した。 下流適応のために我々は,DriveXの予測から特徴を動的に集約し,タスク固有の推論を強化する統一パラダイムであるFuture Spatial Attention (FSA)を設計する。
  論文  参考訳（メタデータ） (2025-05-25T17:27:59Z)
• HAMF: A Hybrid Attention-Mamba Framework for Joint Scene Context Understanding and Future Motion Representation Learning [12.568968115955865]
  本研究では,シーンコンテキストを協調的に符号化した将来の動き表現を学習する動き予測フレームワークであるHAMFを提案する。 我々は,我々のハイブリッドアテンション・マンバモデルにより,シンプルで軽量なアーキテクチャで最先端のモーション予測性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-05-21T16:16:52Z)
• CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
  視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。 視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。 実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
  論文  参考訳（メタデータ） (2025-03-27T22:23:04Z)
• A Survey of World Models for Autonomous Driving [63.33363128964687]
  自律運転の最近の進歩は、堅牢な世界モデリングの進歩によって推進されている。 世界モデルは、マルチセンサーデータ、セマンティックキュー、時間ダイナミクスを統合する駆動環境の高忠実度表現を提供する。 本稿では、自律運転の世界モデルにおける最近の進歩を体系的にレビューする。
  論文  参考訳（メタデータ） (2025-01-20T04:00:02Z)
• Multi-scale Temporal Fusion Transformer for Incomplete Vehicle Trajectory Prediction [23.72022120344089]
  運動予測は自律運転システムにおいて重要な役割を果たす。 不完全な車両軌道予測のための新しいエンドツーエンドフレームワークを提案する。 道路交通シナリオと都市交通シナリオから得られた4つのデータセットについて,提案モデルの評価を行った。
  論文  参考訳（メタデータ） (2024-09-02T02:36:18Z)
• BEVWorld: A Multimodal World Simulator for Autonomous Driving via Scene-Level BEV Latents [56.33989853438012]
  BEVWorldは,マルチモーダルセンサ入力を統一的でコンパクトなBird's Eye View潜在空間に変換し,全体的環境モデリングを行うフレームワークである。 提案する世界モデルは,多モードトークン化器と遅延BEVシーケンス拡散モデルという2つの主要成分から構成される。
  論文  参考訳（メタデータ） (2024-07-08T07:26:08Z)
• HPNet: Dynamic Trajectory Forecasting with Historical Prediction Attention [76.37139809114274]
  HPNetは、新しい動的軌道予測手法である。 逐次予測間の動的関係を自動的に符号化する履歴予測アテンションモジュールを提案する。 私たちのコードはhttps://github.com/XiaolongTang23/HPNetで利用可能です。
  論文  参考訳（メタデータ） (2024-04-09T14:42:31Z)
• AMP: Autoregressive Motion Prediction Revisited with Next Token Prediction for Autonomous Driving [59.94343412438211]
  本稿では,GPT方式の次のトークン動作予測を動作予測に導入する。 同種単位-ワードからなる言語データとは異なり、運転シーンの要素は複雑な空間的・時間的・意味的な関係を持つ可能性がある。 そこで本稿では,情報集約と位置符号化スタイルの異なる3つの因子化アテンションモジュールを用いて,それらの関係を捉えることを提案する。
  論文  参考訳（メタデータ） (2024-03-20T06:22:37Z)
• GenAD: Generative End-to-End Autonomous Driving [13.332272121018285]
  GenADは、ジェネレーティブモデリング問題に自律運転を組み込むジェネレーティブフレームワークである。 本稿では,まず周囲のシーンをマップ対応のインスタンストークンに変換するインスタンス中心のシーントークン化手法を提案する。 次に、変動型オートエンコーダを用いて、軌道先行モデリングのための構造潜在空間における将来の軌道分布を学習する。
  論文  参考訳（メタデータ） (2024-02-18T08:21:05Z)
• Context-Aware Timewise VAEs for Real-Time Vehicle Trajectory Prediction [4.640835690336652]
  マルチモーダル車軌道予測のためのコンテキスト認識手法であるContextVAEを提案する。 本手法は,現場のエージェントが提示する社会的特徴と,身体環境の制約を考慮に入れたものである。 すべてのテストデータセットにおいて、ContextVAEモデルはトレーニングが高速で、リアルタイムに高品質なマルチモーダル予測を提供する。
  論文  参考訳（メタデータ） (2023-02-21T18:42:24Z)
• ST-P3: End-to-end Vision-based Autonomous Driving via Spatial-Temporal Feature Learning [132.20119288212376]
  本稿では,認識,予測,計画タスクを同時に行うための,より代表的な特徴の集合に対する時空間的特徴学習手法を提案する。 私たちの知識を最大限に活用するために、私たちは、解釈可能なエンドツーエンドの自動運転システムの各部分を体系的に調査した最初の人です。
  論文  参考訳（メタデータ） (2022-07-15T16:57:43Z)
• CARNet: A Dynamic Autoencoder for Learning Latent Dynamics in Autonomous Driving Tasks [11.489187712465325]
  自律運転システムは、世界の抽象的な記述を形成するために、様々なセンサから収集した情報を効果的に活用すべきである。 オートエンコーダのようなディープラーニングモデルは、受信データのストリームからコンパクトな潜在表現を学習できるため、その目的のために使用できる。 この研究は、自動エンコーダとリカレントニューラルネットワークを組み合わせて現在の潜伏表現を学習する、複合dynAmicautoencodeRネットワークアーキテクチャであるCARNetを提案する。
  論文  参考訳（メタデータ） (2022-05-18T04:15:42Z)
• Implicit Latent Variable Model for Scene-Consistent Motion Forecasting [78.74510891099395]
  本稿では,センサデータから直接複雑な都市交通のシーン一貫性のある動き予測を学習することを目的とする。 我々は、シーンを相互作用グラフとしてモデル化し、強力なグラフニューラルネットワークを用いてシーンの分散潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-07-23T14:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。