論文の概要: DriveTok: 3D Driving Scene Tokenization for Unified Multi-View Reconstruction and Understanding

• arxiv url: http://arxiv.org/abs/2603.19219v1
• Date: Thu, 19 Mar 2026 17:58:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.325643
• Title: DriveTok: 3D Driving Scene Tokenization for Unified Multi-View Reconstruction and Understanding
• Title（参考訳）: DriveTok: 統合されたマルチビュー再構築と理解のための3D駆動のシーントークン化
• Authors: Dong Zhuo, Wenzhao Zheng, Sicheng Zuo, Siming Yan, Lu Hou, Jie Zhou, Jiwen Lu,
• Abstract要約: DriveTokは、マルチビューの再構築と理解を統一するための効率的な3D駆動シーントークンである。 復号化にはマルチビュートランスフォーマーを用いて,シーントークンからマルチビュー機能を再構築する。 また,シーントークンに直接3Dヘッドを追加して,3Dセマンティック占有率の予測を行う。
• 参考スコア（独自算出の注目度）: 75.41918200553525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the growing adoption of vision-language-action models and world models in autonomous driving systems, scalable image tokenization becomes crucial as the interface for the visual modality. However, most existing tokenizers are designed for monocular and 2D scenes, leading to inefficiency and inter-view inconsistency when applied to high-resolution multi-view driving scenes. To address this, we propose DriveTok, an efficient 3D driving scene tokenizer for unified multi-view reconstruction and understanding. DriveTok first obtains semantically rich visual features from vision foundation models and then transforms them into the scene tokens with 3D deformable cross-attention. For decoding, we employ a multi-view transformer to reconstruct multi-view features from the scene tokens and use multiple heads to obtain RGB, depth, and semantic reconstructions. We also add a 3D head directly on the scene tokens for 3D semantic occupancy prediction for better spatial awareness. With the multiple training objectives, DriveTok learns unified scene tokens that integrate semantic, geometric, and textural information for efficient multi-view tokenization. Extensive experiments on the widely used nuScenes dataset demonstrate that the scene tokens from DriveTok perform well on image reconstruction, semantic segmentation, depth prediction, and 3D occupancy prediction tasks.
• Abstract（参考訳）: 自律運転システムにおける視覚言語行動モデルや世界モデルの採用が進むにつれ、視覚的モダリティのインターフェースとして、スケーラブルな画像トークン化が重要となる。 しかし、既存のトークン化装置のほとんどは単眼と2Dのシーン用に設計されており、高解像度のマルチビュー駆動シーンに適用した場合、非効率性とビュー間不整合をもたらす。 そこで我々は,多視点再構成と理解を統合化するための効率的な3次元駆動シーントークンであるDriveTokを提案する。 DriveTokはまず、視覚基盤モデルからセマンティックにリッチな視覚的特徴を取得し、3D変形可能なクロスアテンションを持つシーントークンに変換する。 復号化にはマルチビュートランスフォーマーを用いてシーントークンから複数ビュー特徴を再構成し,複数のヘッドを用いてRGB,深さ,意味的再構成を行う。 また,シーントークンに直接3Dヘッドを付加し,空間認識の向上を目的とした3Dセマンティック占有予測を行った。 複数のトレーニング目標により、DriveTokは、セマンティック、幾何学、およびテクスチャ情報を統合して効率的なマルチビュートークン化を実現する統一的なシーントークンを学習する。 広く使われているnuScenesデータセットに関する大規模な実験により、DriveTokのシーントークンは、画像再構成、セマンティックセグメンテーション、深さ予測、および3D占有予測タスクでうまく機能することが示された。

関連論文リスト

• Unified Semantic Transformer for 3D Scene Understanding [55.415468022487005]
  我々は、単一のモデル内に多様な3Dセマンティックタスクを統一する新しいフィードフォワードニューラルネットワークUNITEを紹介する。 我々のモデルは、完全なエンドツーエンドで見えないシーンで動作し、完全な3Dセマンティックジオメトリを推測するのにほんの数秒しかかからない。 UNITEはいくつかの異なる意味的タスクにおいて最先端のパフォーマンスを達成し、タスク固有のモデルよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2025-12-16T12:49:35Z)
• Towards Efficient and Effective Multi-Camera Encoding for End-to-End Driving [54.85072592658933]
  本稿では,自動運転における高ボリュームマルチカメラデータ処理の計算ボトルネックに対処する,効率的かつ効率的なシーンエンコーダFlexを提案する。 設計上,我々のアプローチは幾何学的非依存であり,明快な3次元帰納バイアスに頼ることなく,データから直接コンパクトなシーン表現を学習する。 我々の研究は、データ駆動型共同符号化戦略が将来の自動運転システムにおいて、よりスケーラブルで効率的かつ効果的な経路を提供することを示すために、3Dプリエントが不可欠であるという一般的な仮定に挑戦する。
  論文  参考訳（メタデータ） (2025-12-11T18:59:46Z)
• Scenes as Tokens: Multi-Scale Normal Distributions Transform Tokenizer for General 3D Vision-Language Understanding [39.18256367776712]
  我々は,人間のインタラクションを自然に支援しながら,幅広い3Dシーン理解タスクを行う3D VLMであるNDTokenizer3Dを提案する。 このアプローチのコアは,NDT(Multi-Scale Normal Distributions Transform)表現に基づいて構築された,新しい3段階のシーントークン化パイプラインである。 NDTokenizer3Dは、まず、生高解像度の点雲からマルチスケールのNDT表現を構築し、大域的コンテキストと微粒な幾何学的詳細の両方を保存する。
  論文  参考訳（メタデータ） (2025-11-26T09:12:17Z)
• Cohere3D: Exploiting Temporal Coherence for Unsupervised Representation Learning of Vision-based Autonomous Driving [73.3702076688159]
  本稿では,コヒーレントなインスタンス表現を長期入力シーケンスで学習するための,新しいコントラスト学習アルゴリズムであるCohere3Dを提案する。 我々は,様々な下流認識,予測,計画タスクにおいて,事前学習したモデルを微調整することにより,アルゴリズムを評価する。
  論文  参考訳（メタデータ） (2024-02-23T19:43:01Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。