論文の概要: VGGT-Prime: Compute-Adaptive Mixture-of-Heads for Efficient Visual Geometry Transformers

• arxiv url: http://arxiv.org/abs/2609.23733v1
• Date: Sun, 20 Sep 2026 16:22:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.973457
• Title: VGGT-Prime: Compute-Adaptive Mixture-of-Heads for Efficient Visual Geometry Transformers
• Title（参考訳）: VGGT-Prime:効率的なビジュアル幾何変換器のためのコンピュータ適応型混合ヘッド
• Abstract要約: VGGT-Prime(VGGT-Prime)は、視覚幾何学変換器の計算適応型混合モデルである。 カメラのポーズ、奥行き、ポイントクラウド予測の競合性能を維持しながら、VGGTよりも8倍の推論スピードアップを達成することができる。
• 参考スコア（独自算出の注目度）: 8.627874938566512
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feed-forward visual geometry models such as the Visual Geometry Grounded Transformer (VGGT) have recently enabled direct 3D reconstruction from multi-view images. Despite their promising performance, these models scale quadratically with the number of input views due to their global attention mechanism, resulting in substantial latency for long sequence inputs. There have been some recent efforts to accelerate VGGT, but they primarily focus on reducing \emph{token redundancy} through token merging or key/value sparsification. Our work resolves this bottleneck from a different perspective by investigating \emph{architectural redundancy} in visual geometry transformers. We show that the multi-head attention modules in VGGT's global-attention layers contain substantial architectural redundancy, with only a subset of heads carrying critical geometric information. In light of this observation, we propose VGGT-Prime, a compute-adaptive mixture-of-heads model that resolves this redundancy to accelerate visual geometry transformers while maintaining competitive reconstruction quality. The key idea of VGGT-Prime is to estimate the appropriate computation level for each global-attention head using a lightweight router and then dynamically assign each head to different computation modes. Extensive experiments on multiple datasets demonstrate that VGGT-Prime can achieve an {$8\times$} inference speedup over VGGT while maintaining competitive performance on camera pose, depth, and point-cloud predictions. We further show that VGGT-Prime is complementary to existing acceleration methods, such as token merging, further improving inference speed by up to $14{\times}$ over VGGT. An overview of our work is available on our \href{https://vggt-prime.github.io}{project page}.
• Abstract（参考訳）: 近年,VGGT (Visual Geometry Grounded Transformer) などのフィードフォワード視覚幾何学モデルにより,多視点画像から直接3次元再構成が可能となった。 期待された性能にもかかわらず、これらのモデルは、グローバルなアテンション機構による入力ビューの数と2次的にスケールし、長いシーケンス入力に相当なレイテンシをもたらす。 VGGTを加速するための最近の取り組みはいくつかあるが、主にトークンマージやキー/バリュースペーシングによる 'emph{token redundancy} の削減に重点を置いている。 我々の研究は、視覚幾何学変換器における 'emph{architectural redundancy} を調査することによって、このボトルネックを異なる視点から解決する。 VGGTのグローバルアテンション層におけるマルチヘッドアテンションモジュールには、重要な幾何学的情報を運ぶヘッドのサブセットのみを含む、相当なアーキテクチャの冗長性が含まれていることを示す。 本稿では、この冗長性を解消し、競争力のある再構成品質を維持しつつ、視覚幾何学変換器を高速化する計算適応型混合頭部モデルであるVGGT-Primeを提案する。 VGGT-Primeのキーとなる考え方は、軽量ルータを使用して各グローバルアテンションヘッドの適切な計算レベルを推定し、各ヘッドを異なる計算モードに動的に割り当てることである。 複数のデータセットに対する大規模な実験により、VGGT-Primeは、カメラのポーズ、深さ、ポイントクラウド予測における競合性能を維持しながら、VGGTよりも$8\times$}の推論スピードアップを達成できることが示されている。 さらに、VGGT-Primeは、トークンのマージなどの既存の加速度法を補完するものであり、VGGTよりも14{\times}$の推論速度を向上することを示す。 私たちの作業の概要は、我々の \href{https://vggt-prime.github.io}{project page} で確認できます。

関連論文リスト

• Attention Itself Could Retrieve.RetrieveVGGT: Training-Free Long Context Streaming 3D Reconstruction via Query-Key Similarity Retrieval [86.05617542701644]
  Visual Geometry Grounded Transformer (VGGT)はスケーラブルなTransformerアーキテクチャを通じて3D再構成を行う。 StreamVGGTは因果的にストリーミングを可能にするが、KVキャッシュはフレームとともに線形に成長し、メモリオーバーフローと品質劣化を引き起こす。 本稿では、VGGTのコンテキスト構築を検索問題として定式化する、トレーニング不要なフレームワークRetrieveVGGTを提案する。
  論文  参考訳（メタデータ） (2026-05-10T16:41:54Z)
• VGGT-Segmentor: Geometry-Enhanced Cross-View Segmentation [17.578132395389755]
  VGGT-S(VGGT-S)は,画素精度のセマンティックセマンティックセグメンテーションを統一する幾何学的フレームワークである。 Ego-Exo4Dベンチマークでは、VGGT-Sは、それぞれEgo to ExoとExo to Egoタスクの平均IoUを67.7%、平均IoUを68.0%と定義している。
  論文  参考訳（メタデータ） (2026-04-15T08:05:13Z)
• MVGGT: Multimodal Visual Geometry Grounded Transformer for Multiview 3D Referring Expression Segmentation [59.75554954111619]
  マルチビュー3D参照表現(MV-3DRES)を導入し、モデルがシーン構造を復元し、参照対象をスパースなマルチビュー画像から直接セグメント化する必要がある。 本稿では,言語情報をスパースビュー幾何学的推論に組み込む,効率的なエンドツーエンドフレームワークであるMultimodal Visual Geometry Grounded Transformer (MVGGT)を提案する。 実験により、MVGGTは最初の強力なベースラインを確立し、高精度かつ高速な推論を達成し、既存の選択肢よりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-01-11T11:44:07Z)
• OmniVGGT: Omni-Modality Driven Visual Geometry Grounded Transformer [48.16706802780516]
  一般的な3Dファウンデーションモデルは、多様なビジョンタスクの統合のトレンドを導い始めている。 OmniVGTは、トレーニングと推論の両方において、任意の数の補助モダリティを効果的に活用できる新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-11-13T17:59:01Z)
• Faster VGGT with Block-Sparse Global Attention [11.473406315508647]
  本稿では,高度に最適化されたブロックスパースカーネルに基づくグローバルアテンション操作の置き換えを提案する。 バックボーンの再トレーニングは不要で、VGGTと$pi3$の両方に拡張され、大きなイメージコレクションをサポートします。
  論文  参考訳（メタデータ） (2025-09-08T18:16:09Z)
• FastVGGT: Training-Free Acceleration of Visual Geometry Transformer [83.67766078575782]
  VGGTは最先端のフィードフォワード視覚幾何学モデルである。 本稿では,VGGTの高速化のためのトレーニングフリーメカニズムを用いて,3次元領域におけるトークンのマージを利用したFastVGGTを提案する。 1000の入力画像により、FastVGGTはVGGTの4倍の高速化を実現し、長いシーケンスシナリオにおけるエラーの蓄積を緩和する。
  論文  参考訳（メタデータ） (2025-09-02T17:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。