論文の概要: CoVeR: Coverage-Based Token Pruning for Multi-View 3D Reasoning in VLMs

• arxiv url: http://arxiv.org/abs/2609.08345v1
• Date: Tue, 08 Sep 2026 07:16:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.604944
• Title: CoVeR: Coverage-Based Token Pruning for Multi-View 3D Reasoning in VLMs
• Title（参考訳）: CoVeR:VLMにおけるマルチビュー3次元推論のための包絡型トーケンプルーニング
• Abstract要約: 3Dシーンをマルチビュー画像として表現することで、2D VLMは事前学習の事前知識を再利用し、注釈付き3Dデータの不足を補うことで3Dを推論することができる。 既存の視覚トークンプルーナーは2つのファミリーに分かれ、それぞれが3Dマルチビュー設定に制限される。 空間被覆は3次元推論性能と関連し,トークン座標のみを用いた決定論的学習自由セレクタであるCoVeRを導入し,学習信号を持たないことを示す。
• 参考スコア（独自算出の注目度）: 58.22241532542095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representing a 3D scene as multi-view images allows 2D VLMs to reason in 3D by reusing priors from pre-training, sidestepping the scarcity of annotated 3D data. However, it produces thousands of redundant visual tokens whose cost grows with every view. Existing visual token pruners fall into two families, each limited in the 3D multi-view setting. Learned importance methods rank tokens by attention or encoder features; because redundancy here is fundamentally spatial, they keep near-duplicate tokens from a few prominent regions and leave most of the scene unrepresented. Voxelization methods improve spatial coverage but cannot enforce an exact token budget and saturate as multi-view observations overlap in 3D, capping retention well below the target. We show that spatial coverage is associated with 3D reasoning performance and introduce CoVeR, a deterministic, training-free selector that uses only token coordinates, with no learned signals. CoVeR selects tokens that collectively cover every region of the scene, and solves the limitations of both families: it enforces an exact per-scene budget, breaks the voxelization saturation plateau, and avoids the near-duplicate selections of learned importance. Extensive experiments show CoVeR outperforms prior SOTAs on all three 3D reasoning benchmarks and generalizes as a plug-and-play module tested across four VLMs. Notably, with only $\approx$8% of visual tokens, it preserves 93.5% of full-token performance, surpassing SOTA by 3.9 percentage points on average across benchmarks.
• Abstract（参考訳）: 3Dシーンをマルチビュー画像として表現することで、2D VLMは事前学習の事前知識を再利用し、注釈付き3Dデータの不足を補うことで3Dを推論することができる。 しかし、ビューごとにコストが増大する、何千もの冗長なビジュアルトークンを生成します。 既存の視覚トークンプルーナーは2つのファミリーに分かれ、それぞれが3Dマルチビュー設定に制限される。 ここでの冗長性は基本的に空間的であるため、いくつかの著名な地域からほぼ重複したトークンを保持し、ほとんどのシーンを表現しない。 ボクセル化法は空間的カバレッジを改善するが、正確なトークン予算を強制することはできず、多視点観察が3Dで重なり合うため飽和し、目標よりかなり低い保持を抑える。 空間被覆は3次元推論性能と関連し,トークン座標のみを用いた決定論的学習自由セレクタであるCoVeRを導入し,学習信号を持たないことを示す。 CoVeRは、シーンのすべての領域をカバーするトークンを選択し、両方の家族の制限を解決する。 大規模な実験により、CoVeRは3つの3次元推論ベンチマークでSOTAよりも優れており、4つのVLMでテストされたプラグ・アンド・プレイモジュールとして一般化されている。 特に、ビジュアルトークンのたった8%の$\approxで、93.5%のフルトーケンのパフォーマンスを保持し、ベンチマーク全体で平均3.9%のSOTAを上回ります。

関連論文リスト

• CoverPrune: Coverage-Driven Token Pruning for 3D VLMs via Optimal Transport [50.2610873651284]
  既存のトークンプルーニング法は、分散を最大化するために類似のトークンを捨て、多様性に基づいた選択に依存している。 3D環境では、この手法は典型的なプロトタイプトークンを落として、アウトリーチを優先することが多い。 本稿では,3次元VLMトークンプルーニングのパラダイムシフトを提案する。
  論文  参考訳（メタデータ） (2026-08-13T13:29:15Z)
• CARVE: Cross-Slice Anisotropic Reallocation of Visual Evidence for Efficient 3D Medical Volume Understanding [8.918770994951872]
  スライスベースのMLLMは、成熟した2Dエンコーダを利用して、3Dボリュームを2Dスライスシーケンスとして表現する。 このスライス的な定式化は、LCMのバックボーンを負担する数千の視覚トークンを生成する。 我々は、LCMの推論に先立って視覚トークンを圧縮し、トークンの削減を予算制約2.5D割当としてキャストするトレーニングフリーフレームワークであるCARVEを提案する。
  論文  参考訳（メタデータ） (2026-08-05T06:49:49Z)
• Zero-Shot 3D Question Answering via Hierarchical View-to-Token Transportation [9.296275675671636]
  本稿では,ビューレベルとトークンレベルの両方において,入力コンテキスト収集のための階層的アプローチを提案する。 具体的には、画素特徴とカメラパラメータを組み合わせることで、意味的内容と幾何学的位置の両方に基づいて、ビューの重要性を評価する。 フレームワークを3つの広く使用されているベンチマークで評価し、既存のチューニング不要の手法とトレーニングベースのアプローチに匹敵するパフォーマンスを大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2026-06-02T03:38:51Z)
• SeGPruner: Semantic-Geometric Visual Token Pruner for 3D Question Answering [18.541639027941198]
  SeGPrunerは、多視点画像を用いた効率的な3Dのための意味認識および幾何学誘導型トークン還元フレームワークである。 推論効率を大幅に改善し、ビジュアルトークンの予算を91%削減し、推論遅延を86%削減する。
  論文  参考訳（メタデータ） (2026-03-31T08:44:04Z)
• DriveTok: 3D Driving Scene Tokenization for Unified Multi-View Reconstruction and Understanding [75.41918200553525]
  DriveTokは、マルチビューの再構築と理解を統一するための効率的な3D駆動シーントークンである。 復号化にはマルチビュートランスフォーマーを用いて,シーントークンからマルチビュー機能を再構築する。 また,シーントークンに直接3Dヘッドを追加して,3Dセマンティック占有率の予測を行う。
  論文  参考訳（メタデータ） (2026-03-19T17:58:22Z)
• Scenes as Tokens: Multi-Scale Normal Distributions Transform Tokenizer for General 3D Vision-Language Understanding [39.18256367776712]
  我々は,人間のインタラクションを自然に支援しながら,幅広い3Dシーン理解タスクを行う3D VLMであるNDTokenizer3Dを提案する。 このアプローチのコアは,NDT(Multi-Scale Normal Distributions Transform)表現に基づいて構築された,新しい3段階のシーントークン化パイプラインである。 NDTokenizer3Dは、まず、生高解像度の点雲からマルチスケールのNDT表現を構築し、大域的コンテキストと微粒な幾何学的詳細の両方を保存する。
  論文  参考訳（メタデータ） (2025-11-26T09:12:17Z)
• Self-Supervised and Generalizable Tokenization for CLIP-Based 3D Understanding [87.68271178167373]
  凍結したCLIPバックボーンを用いたスケール不変表現学習のためのユニバーサル3Dトークン化器を提案する。 S4Tokenは、シーンスケールに関係なくセマンティックインフォームドトークンを生成するトークン化パイプラインである。
  論文  参考訳（メタデータ） (2025-05-24T18:26:30Z)
• RoScenes: A Large-scale Multi-view 3D Dataset for Roadside Perception [98.76525636842177]
  RoScenesは、最大規模のマルチビューロードサイド認識データセットである。 私たちのデータセットは、驚くべき21.13Mの3Dアノテーションを64,000$m2$で達成しています。
  論文  参考訳（メタデータ） (2024-05-16T08:06:52Z)
• Self-supervised Video Representation Learning by Uncovering Spatio-temporal Statistics [74.6968179473212]
  本稿では,自己指導型学習問題に対処する新しい前提課題を提案する。 最大運動の空間的位置や支配的な方向など,分割的・時間的統計的な要約を連続して計算する。 ビデオフレームを入力として与えられた統計的要約を得るために、ニューラルネットワークを構築して訓練する。
  論文  参考訳（メタデータ） (2020-08-31T08:31:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。