論文の概要: NTR: Neural Token Reconstruction for Scene Token Bottleneck in End-to-End Driving
- arxiv url: http://arxiv.org/abs/2605.31116v1
- Date: Fri, 29 May 2026 10:27:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.538519
- Title: NTR: Neural Token Reconstruction for Scene Token Bottleneck in End-to-End Driving
- Title(参考訳): NTR: 終末運転時のシーン・トケネックに対するニューラル・トケネック再建術
- Abstract要約: 本研究では,知覚自由運転におけるコンパクトなシーンのボトルネックを抑えるためのニューラル表現学習フレームワークを提案する。
NTRは3つの公道走行ベンチマークで最先端のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 12.929105623226649
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent perception-free end-to-end (E2E) autonomous driving methods bypass explicit perception outputs by compressing dense image patch tokens into compact scene tokens for downstream trajectory generation and scoring. While these scene tokens form a compact visual bottleneck for the planner, they receive supervision solely from the planning objective, providing limited constraints on the encoded visual information. To address this limitation, we introduce Neural Token Reconstruction (NTR), a representation learning framework to directly constrain the compact scene-token bottleneck in perception-free driving. NTR introduces a self-distillation masked latent reconstruction objective that reconstructs masked patch-level latent features using only compact scene tokens as reconstruction memory. This forces reconstruction gradients to pass exclusively through the scene-token bottleneck, encouraging scene tokens to preserve richer and less redundant visual representations for planning. We further introduce semantic priors derived from foundation-model annotations as a weak semantic interface biasing reconstruction targets toward driving-related structures without introducing explicit perception heads. All auxiliary reconstruction components are removed at inference time, leaving the deployed planner unchanged. NTR achieves state-of-the-art performance on three public autonomous driving benchmarks, including 8.0461 RFS on Waymo E2E and 94.1 PDMS / 90.9 EPDMS on NavSim1&2. The learned scene tokens exhibit lower pairwise redundancy and higher effective rank, indicating that effective bottleneck supervision improves both compact visual representation learning and planning performance.
- Abstract(参考訳): 濃密な画像パッチトークンをコンパクトなシーントークンに圧縮し、下流軌道生成とスコアリングを行うことにより、視覚的知覚出力を回避し、近年の知覚自由エンドツーエンド(E2E)自律運転法である。
これらのシーントークンは、プランナーにとってコンパクトな視覚的ボトルネックを形成するが、計画目標からのみ監督を受け、符号化された視覚情報に制限を与える。
この制限に対処するために、認識自由運転におけるコンパクトなシーントーケンボトルネックを直接制約する表現学習フレームワークであるNeural Token Reconstruction (NTR)を導入する。
NTRは、コンパクトなシーントークンのみを再構成メモリとして使用して、マスクされたパッチレベルの潜伏特徴を再構成する自己蒸留マスク付き潜伏再構成目標を導入する。
これにより、リコンストラクショングラデーションはシーンツーケンのボトルネックを独占的に通過させ、計画のためのリッチで冗長でない視覚的表現を維持するようにシーントークンを奨励する。
さらに, 基本モデルアノテーションから派生したセマンティック・プリエントを, 明示的な認識ヘッドを導入することなく, 運転関連構造に対する再構成対象をバイアスする弱いセマンティック・インタフェースとして導入する。
すべての補助的な再構成コンポーネントは推論時に取り除かれ、デプロイされたプランナーは変わらない。
NTRはWaymo E2Eで8.0461 RFS、NavSim1&2で94.1 PDMS / 90.9 EPDMSを含む3つの公道自動運転ベンチマークで最先端のパフォーマンスを達成した。
学習されたシーントークンは、ペアの冗長度が低く、より効果的なランクが示され、効果的なボトルネック監視が、コンパクトな視覚表現学習と計画性能の両方を改善することを示す。
関連論文リスト
- ERA: Entropy-Guided Visual Token Pruning with Rectified Attention for Efficient MLLMs [77.57757084153083]
本稿では,効率的なMLLMを実現するために,Rectified Attention を用いたエントロピー誘導型ビジュアルトークン解析フレームワーク ERA を提案する。
ERAはDEP(Dual-view Entropy Pruning)、BTR(Bias-Aware Tokencycle)、LAR(Logit-Reserving Attention Rectification)の3つの重要な構成要素から構成される。
論文 参考訳(メタデータ) (2026-06-30T17:20:29Z) - Unified Driving Tokens: Representation- and Geometry-Guided Discrete Tokenizer for Driving World Models and Planning [13.385292682258147]
共同管理下で離散トークンを学習する表現誘導型および幾何学強化型トークン化器を提案する。
NAVSIMの実験では、再構成の忠実度と表現整合性、固定デコーダによる競合計画性能、一致した設定での生成品質が向上した。
論文 参考訳(メタデータ) (2026-06-01T09:02:32Z) - TPS-Drive: Task-Guided Representation Purification for VLM-based Autonomous Driving [4.149502662454591]
VLM(Vision-Language Models)は、自動運転計画のための有望な基盤を提供する。
TPS-Driveは,タスクガイド型表現精製を主眼とした新しいフレームワークである。
TPS-Driveは正確なエージェント空間状態予測を実現し、オープンループnuScenes評価における衝突率を低減する。
論文 参考訳(メタデータ) (2026-05-26T13:56:31Z) - DriveTok: 3D Driving Scene Tokenization for Unified Multi-View Reconstruction and Understanding [75.41918200553525]
DriveTokは、マルチビューの再構築と理解を統一するための効率的な3D駆動シーントークンである。
復号化にはマルチビュートランスフォーマーを用いて,シーントークンからマルチビュー機能を再構築する。
また,シーントークンに直接3Dヘッドを追加して,3Dセマンティック占有率の予測を行う。
論文 参考訳(メタデータ) (2026-03-19T17:58:22Z) - CORE: Compact Object-centric REpresentations as a New Paradigm for Token Merging in LVLMs [29.08277140543501]
視覚的トークン圧縮のための新しいパラダイムであるCORE(Compact Object-centric Representation)を紹介する。
COREは効率的なセグメンテーションデコーダを利用してオブジェクトマスクを生成する。
実験により、COREは固定レート圧縮のための6つの信頼性ベンチマークに対して新しい最先端のベンチマークを確立するだけでなく、適応レート設定において劇的な効率向上を達成することが示された。
論文 参考訳(メタデータ) (2025-11-18T03:02:23Z) - FastDriveVLA: Efficient End-to-End Driving via Plug-and-Play Reconstruction-based Token Pruning [75.80110543049783]
我々は,自律運転のための再建型視覚トークンプルーニングフレームワークであるFastDriveVLAを提案する。
VLAモデルの視覚的エンコーダにReconPrunerを訓練するために, 新たなフォアグラウンド逆バックグラウンド再構築戦略を考案した。
提案手法は,異なるプルーニング比におけるnuScenesオープンループ計画ベンチマークの最先端結果を実現する。
論文 参考訳(メタデータ) (2025-07-31T07:55:56Z) - "Principal Components" Enable A New Language of Images [79.45806370905775]
証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。
提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
論文 参考訳(メタデータ) (2025-03-11T17:59:41Z) - Omni-Scene: Omni-Gaussian Representation for Ego-Centric Sparse-View Scene Reconstruction [9.116550622312362]
自律運転のシナリオでは、より実践的なパラダイムはエゴ中心の再構築であり、最小のクロスビューオーバーラップが特徴である。
本稿では,異なる表現の詳細な分析を行い,ネットワーク設計に適したOmni-Gaussian表現を提案する。
実験の結果,エゴ中心の再構築において,この手法は最先端の手法であるピクセルSplatやMVSplatをはるかに上回ることがわかった。
論文 参考訳(メタデータ) (2024-12-09T07:48:15Z) - Monocular BEV Perception of Road Scenes via Front-to-Top View Projection [57.19891435386843]
本稿では,鳥の目視で道路配置と車両占有率によって形成された局所地図を再構築する新しい枠組みを提案する。
我々のモデルは1つのGPU上で25FPSで動作し、リアルタイムパノラマHDマップの再構築に有効である。
論文 参考訳(メタデータ) (2022-11-15T13:52:41Z) - Semi-signed neural fitting for surface reconstruction from unoriented
point clouds [53.379712818791894]
より優れた符号付き距離場を再構成するためのSN-Fittingを提案する。
SSNフィッティングは半署名の監督と損失に基づく領域サンプリング戦略で構成されている。
我々は,SSN-Fittingが,異なる設定下で最先端の性能を達成することを示す実験を行う。
論文 参考訳(メタデータ) (2022-06-14T09:40:17Z) - NMR: Neural Manifold Representation for Autonomous Driving [2.2596039727344452]
本研究では,有限地平線上の多様体上の意味論を推論し,経路点を予測する自律運転の表現を提案する。
本研究では, 周辺単分子画像と部分エゴ車状態の潜時高次元埋め込みに適用した反復的注意機構を用いてこれを行う。
本研究では,BEV占有格子のエッジ適応被覆損失に基づくサンプリングアルゴリズムを提案し,表面多様体を生成する。
論文 参考訳(メタデータ) (2022-05-11T14:58:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。