論文の概要: Efficient Multi-View 3D Object Detection by Dynamic Token Selection and Fine-Tuning

• arxiv url: http://arxiv.org/abs/2604.13586v1
• Date: Wed, 15 Apr 2026 07:44:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.441178
• Title: Efficient Multi-View 3D Object Detection by Dynamic Token Selection and Fine-Tuning
• Title（参考訳）: 動的トークン選択と微調整による高能率多視点3次元物体検出
• Authors: Danish Nazir, Antoine Hanna-Asaad, Lucas Görnhardt, Jan Piewek, Thorsten Bagdonat, Tim Fingscheidt,
• Abstract要約: 既存のマルチビュー3Dオブジェクト検出手法は、大規模な事前学習型視覚変換器(ViT)ベースの基礎モデルをバックボーンとして広く採用している。 マルチビュー3Dオブジェクト検出を高速化するために,VTバックボーンのトークン選択と組み合わせた画像トークン補償器を提案する。
• 参考スコア（独自算出の注目度）: 16.27181704006191
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Existing multi-view three-dimensional (3D) object detection approaches widely adopt large-scale pre-trained vision transformer (ViT)-based foundation models as backbones, being computationally complex. To address this problem, current state-of-the-art (SOTA) \texttt{ToC3D} for efficient multi-view ViT-based 3D object detection employs ego-motion-based relevant token selection. However, there are two key limitations: (1) The fixed layer-individual token selection ratios limit computational efficiency during both training and inference. (2) Full end-to-end retraining of the ViT backbone is required for the multi-view 3D object detection method. In this work, we propose an image token compensator combined with a token selection for ViT backbones to accelerate multi-view 3D object detection. Unlike \texttt{ToC3D}, our approach enables dynamic layer-wise token selection within the ViT backbone. Furthermore, we introduce a parameter-efficient fine-tuning strategy, which trains only the proposed modules, thereby reducing the number of fine-tuned parameters from more than $300$ million (M) to only $1.6$ M. Experiments on the large-scale NuScenes dataset across three multi-view 3D object detection approaches demonstrate that our proposed method decreases computational complexity (GFLOPs) by $48\%$ ... $55\%$, inference latency (on an \texttt{NVIDIA-GV100} GPU) by $9\%$ ... $25\%$, while still improving mean average precision by $1.0\%$ ... $2.8\%$ absolute and NuScenes detection score by $0.4\%$ ... $1.2\%$ absolute compared to so-far SOTA \texttt{ToC3D}.
• Abstract（参考訳）: 既存の多視点3次元オブジェクト検出手法は、大規模事前学習型視覚変換器(ViT)ベースの基礎モデルをバックボーンとして広く採用し、計算的に複雑である。 この問題に対処するために、効率的なマルチビュー ViT ベースの3D オブジェクト検出のための現在の State-of-the-art (SOTA) \texttt{ToC3D} では、ego-motion-based relevant token selection を採用している。 しかし、(1)固定層・個別トークン選択比は、トレーニングと推論の双方で計算効率を制限している。 2) マルチビュー3Dオブジェクト検出には,ViTバックボーンの完全なエンドツーエンド再トレーニングが必要である。 本研究では,VTバックボーンのトークン選択と組み合わせた画像トークン補償器を提案し,多視点3Dオブジェクト検出を高速化する。 texttt{ToC3D}とは異なり、我々の手法はViTバックボーン内で動的レイヤワイズトークンの選択を可能にする。 さらに,提案手法では,提案手法が計算複雑性(GFLOPs)を4,8 %$ ... 5.5 %$,推論遅延( \textt{NVIDIA-GV100} GPU)を9,5 %$ ... $25 %$,さらに平均精度を0.4 %$ ... 2.8 %$... 2.8 %$,NuScenes の絶対値と絶対値と絶対値が0.4 %= ... 2 .2 %=.2 %,絶対値と絶対値が0.4 %となることを示す。

関連論文リスト

• H$_{2}$OT: Hierarchical Hourglass Tokenizer for Efficient Video Pose Transformers [124.11648300910444]
  Heerarchical Hourglass Tokenizer (H$_2$OT) と呼ばれる階層的なプラグアンドプレイプルーニング&ドル回復フレームワークを提案する。 提案手法は汎用的であり,Seq2seqおよびSeq2frameパイプラインの共通VPTモデルに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-09-08T17:59:59Z)
• Make Your ViT-based Multi-view 3D Detectors Faster via Token Compression [78.93023152602525]
  スロー推論速度は、自律運転のようなリアルタイムの要求の高いタスクにマルチビュー3D検出器を配置する上で最も重要な問題の一つである。 TokenCompression3D (ToC3D) と呼ばれるシンプルで効果的な方法を提案する。 提案手法は, 最大30%の推論スピードアップで最近のSOTAの性能をほぼ維持できる。
  論文  参考訳（メタデータ） (2024-09-01T06:58:08Z)
• PoIFusion: Multi-Modal 3D Object Detection via Fusion at Points of Interest [65.48057241587398]
  PoIFusionは、関心点(PoIs)におけるRGBイメージとLiDARポイントクラウドに関する情報を融合するフレームワークである。 提案手法は,各モダリティの視点を維持し,計算にやさしいプロジェクションと計算によってマルチモーダル特徴を得る。 我々はnuScenesとArgoverse2データセットについて広範囲に実験を行い、我々のアプローチを評価した。
  論文  参考訳（メタデータ） (2024-03-14T09:28:12Z)
• S$^3$-MonoDETR: Supervised Shape&Scale-perceptive Deformable Transformer for Monocular 3D Object Detection [21.96072831561483]
  本稿では,モノクロ3次元物体検出のためのSupervised Shape&Scale-perceptive Deformable Attention' (S$3$-DA) モジュールを提案する。 これにより、S$3$-DAは、任意のカテゴリに属するクエリポイントに対する受容的フィールドを効果的に推定し、堅牢なクエリ機能を生成することができる。 KITTIとOpenデータセットの実験では、S$3$-DAが検出精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-09-02T12:36:38Z)
• MVTN: Learning Multi-View Transformations for 3D Understanding [60.15214023270087]
  本稿では,3次元形状認識のための最適視点を決定するために,可変レンダリングを用いたマルチビュー変換ネットワーク(MVTN)を提案する。 MVTNは3次元形状認識のためのマルチビューネットワークでエンドツーエンドに訓練することができる。 提案手法は,複数のベンチマークによる3次元分類と形状検索における最先端性能を示す。
  論文  参考訳（メタデータ） (2022-12-27T12:09:16Z)
• Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
  モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。 従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。 我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。 これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
  論文  参考訳（メタデータ） (2020-08-31T17:10:48Z)
• Light3DPose: Real-time Multi-Person 3D PoseEstimation from Multiple Views [5.510992382274774]
  いくつかのキャリブレーションされたカメラビューから複数の人物の3次元ポーズ推定を行う手法を提案する。 我々のアーキテクチャは、2次元ポーズ推定器のバックボーンから特徴マップを3次元シーンの包括的表現に集約する。 提案手法は本質的に効率的であり, 純粋なボトムアップ手法として, 現場の人数から計算的に独立している。
  論文  参考訳（メタデータ） (2020-04-06T14:12:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。