論文の概要: Faster VGGT with Block-Sparse Global Attention
- arxiv url: http://arxiv.org/abs/2509.07120v1
- Date: Mon, 08 Sep 2025 18:16:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-10 14:38:27.075184
- Title: Faster VGGT with Block-Sparse Global Attention
- Title（参考訳）: ブロックスパースグローバルアテンションによる高速VGGT
- Abstract要約: 本稿では,高度に最適化されたブロックスパースカーネルに基づくグローバルアテンション操作の置き換えを提案する。
バックボーンの再トレーニングは不要で、VGGTと$pi3$の両方に拡張され、大きなイメージコレクションをサポートします。
- 参考スコア（独自算出の注目度）: 11.473406315508647
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient and accurate feed-forward multi-view reconstruction has long been an important task in computer vision. Recent transformer-based models like VGGT and $\pi^3$ have achieved impressive results with simple architectures, yet they face an inherent runtime bottleneck, due to the quadratic complexity of the global attention layers, that limits the scalability to large image sets. In this paper, we empirically analyze the global attention matrix of these models and observe that probability mass concentrates on a small subset of patch-patch interactions that correspond to cross-view geometric matches. Motivated by the structured attention and inspired by recent advancement in large language models, we propose a replacement for the dense global attention operation based on highly optimized block-sparse kernels, yielding up to $4\times$ faster inference with comparable task performance. Our retrofit requires no retraining of the backbone, extends to both VGGT and $\pi^3$, and supports large image collections. Evaluations on a comprehensive suite of multi-view benchmarks demonstrate the effectiveness of our approach.
- Abstract（参考訳）: 効率的かつ正確なフィードフォワード・マルチビュー再構成は、コンピュータビジョンにおいて長い間重要な課題であった。
VGGTや$\pi^3$といった最近のトランスフォーマーベースのモデルは、単純なアーキテクチャで素晴らしい成果を上げていますが、グローバルアテンション層の2次複雑さのため、大きなイメージセットにスケーラビリティが制限されるため、固有のランタイムボトルネックに直面しています。
本稿では,これらのモデルのグローバルアテンション行列を実験的に解析し,確率質量が,クロスビュー幾何学的マッチングに対応するパッチ・パッチ相互作用の小さなサブセットに集中していることを確認する。
構造化された注目に触発され,近年の大規模言語モデルの発展に触発されて,高度に最適化されたブロックスパースカーネルに基づくグローバルアテンション操作の置き換えを提案する。
バックボーンの再トレーニングは不要で、VGGTと$\pi^3$の両方に拡張され、大きなイメージコレクションをサポートする。
総合的なマルチビューベンチマークによる評価は,提案手法の有効性を実証する。
関連論文リスト
- Semantic Generative Tuning for Unified Multimodal Models [62.18894352635965]
統一マルチモーダルモデル(UMM)は、単一のアーキテクチャ内で視覚的理解と視覚的生成を統合する。
訓練パラダイムは 独立して テキスト信号を通して 理解を最適化する 密集したピクセルの目的を通して 生成する
本研究は,UMMの分離を橋渡しするための生成プロキシとして階層的視覚タスクを定式化する,生成後学習に関する最初の体系的な研究である。
論文 参考訳（メタデータ） (2026-05-18T17:46:46Z) - TurboVGGT: Fast Visual Geometry Reconstruction with Adaptive Alternating Attention [21.29668311125256]
TurboVGGTは、高速なマルチビュー3D再構成のために適応的注目を交互に行う効率的な視覚幾何学変換器を採用している。
適応的疎大なグローバルな注目の中で、TurboVGGTはグローバル幾何モデリングのための様々な空間レベルを持つ代表トークンを適応的に学習する。
複数の3次元再構成ベンチマーク実験により,TurboVGGTは高速な多視点再構成を実現し,競争力のある再構成品質を維持した。
論文 参考訳（メタデータ） (2026-05-14T03:24:09Z) - VGGT-Segmentor: Geometry-Enhanced Cross-View Segmentation [17.578132395389755]
VGGT-S(VGGT-S)は,画素精度のセマンティックセマンティックセグメンテーションを統一する幾何学的フレームワークである。
Ego-Exo4Dベンチマークでは、VGGT-Sは、それぞれEgo to ExoとExo to Egoタスクの平均IoUを67.7%、平均IoUを68.0%と定義している。
論文 参考訳（メタデータ） (2026-04-15T08:05:13Z) - VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions [51.41587958253802]
視覚情報を捨てることなく推論コストを削減するVISOR(VISion On Request)を導入する。
VISORは画像とテキストトークン間の相互作用をスパースすることで効率を向上する。
実験により、VISORは、最先端の結果を一致または超えながら、計算コストを大幅に削減することが示された。
論文 参考訳（メタデータ） (2026-03-24T17:58:17Z) - MURE: Hierarchical Multi-Resolution Encoding via Vision-Language Models for Visual Document Retrieval [111.99106496142474]
Visual Document Retrieval (VDR)は、微細な視覚的詳細とグローバルな文書構造の両方をキャプチャする表現を必要とする。
既存のVDRモデルは、高解像度文書を処理する際に効率と効率のバランスをとるのに苦労する。
本稿では,X-VisEmbパラダイムを提案する。X-VisEmbパラダイムは,多分解能サンプリングと符号化から,粒度横断的特徴融合から適応的表現蒸留へと進展する。
論文 参考訳（メタデータ） (2026-03-07T15:17:22Z) - StepVAR: Structure-Texture Guided Pruning for Visual Autoregressive Models [98.72926158261937]
本稿では,Visual AutoRegressive モデルのためのトレーニングフリートークン解析フレームワークを提案する。
我々は局所的なテクスチャの詳細を捉えるために軽量なハイパスフィルタを使用し、グローバルな構造情報を保存するために主成分分析(PCA)を活用している。
スパーストークンの下で有効な次世代の予測を維持するために,近接した特徴伝達戦略を導入する。
論文 参考訳（メタデータ） (2026-03-02T11:35:05Z) - Reloc-VGGT: Visual Re-localization with Geometry Grounded Transformer [40.778996326009185]
初期核融合機構による多視点空間統合を行う最初のビジュアルローカライゼーションフレームワークを提案する。
我々のフレームワークはVGGTのバックボーン上に構築されており、多視点3D形状を符号化している。
本研究では,グローバルアテンションの2次複雑さを回避し,計算コストを削減する新しいスパースマスクアテンション戦略を提案する。
論文 参考訳（メタデータ） (2025-12-26T06:12:17Z) - AVGGT: Rethinking Global Attention for Accelerating VGGT [16.56994879750844]
VGGTと3ドルは、強力なマルチビュー3Dパフォーマンスを示しているが、グローバルな自己注意に大きく依存しているため、計算コストが高い。
我々は、VGGTにおけるグローバルアテンションモジュールの詳細な調査を行い、それらの役割をよりよく理解するために3ドルを支払った。
本研究では,(1)初期のグローバルレイヤをフレームアテンションに変換し,(2)グローバルアテンションをサブサンプリングする2段階アクセラレーション方式を提案する。
論文 参考訳（メタデータ） (2025-12-02T09:08:18Z) - ScaleGNN: Towards Scalable Graph Neural Networks via Adaptive High-order Neighboring Feature Fusion [73.85920403511706]
スケーラブルで効果的なグラフ学習のためのマルチホップノード機能を適応的に融合する新しいフレームワークであるScaleGNNを提案する。
予測精度と計算効率の両面で,ScaleGNNは最先端のGNNよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2025-04-22T14:05:11Z) - Any Image Restoration via Efficient Spatial-Frequency Degradation Adaptation [158.37640586809187]
劣化した画像を1つのモデルで効率的に復元することは、ますます重要になっている。
我々のアプローチはAnyIRと呼ばれ、様々な劣化にまたがる固有の類似性を活用する統一された経路をとっています。
劣化認識と文脈的注意を融合させるため,空間周波数並列融合戦略を提案する。
論文 参考訳（メタデータ） (2025-04-19T09:54:46Z) - Optimized Unet with Attention Mechanism for Multi-Scale Semantic Segmentation [8.443350618722564]
本稿では,注目機構と組み合わさった改良されたUnetモデルを提案する。
チャネルアテンションと空間アテンションモジュールを導入し、重要な特徴にフォーカスするモデルの能力を強化する。
改良されたモデルは、mIoUとピクセル精度(PA)でよく機能し、それぞれ76.5%と95.3%に達した。
論文 参考訳（メタデータ） (2025-02-06T06:51:23Z) - iiANET: Inception Inspired Attention Hybrid Network for efficient Long-Range Dependency [0.5497663232622965]
iANETは、長距離依存のモデリングを改善するために設計された、効率的なハイブリッド視覚バックボーンである。
iiANETの中核となる革新は、iiABlockである。これは、グローバルなr-MHSA(Multi-Head Self-Attention)とパリルルにおける畳み込みレイヤを内部で記述する、統一されたビルディングブロックである。
論文 参考訳（メタデータ） (2024-07-10T12:39:02Z) - SSGA-Net: Stepwise Spatial Global-local Aggregation Networks for for Autonomous Driving [27.731481134782577]
現在のモデルは、通常、タスクヘッドのオブジェクト表現を強化するために隣のフレームから特徴を集約します。
これらの手法は将来のフレームからの情報に依存し、高い計算複雑性に悩まされる。
本稿では,これらの問題を解決するために,段階的に空間的局所集約ネットワークを導入する。
論文 参考訳（メタデータ） (2024-05-29T08:12:51Z) - AnchorGT: Efficient and Flexible Attention Architecture for Scalable Graph Transformers [35.04198789195943]
グラフ変換器(GT)のための新しいアテンションアーキテクチャであるAnchorGTを提案する。
アンカーベースGNNにインスパイアされ、構造的に重要な$k$支配ノードセットをアンカーとして採用し、個々のノードとアンカーの関係に着目したアテンションメカニズムを設計する。
直感的な設計により、AnchorGTは様々なGTモデルのアテンションモジュールを異なるネットワークアーキテクチャで簡単に置き換えることができる。
論文 参考訳（メタデータ） (2024-05-06T13:53:09Z) - GiT: Towards Generalist Vision Transformer through Universal Language Interface [94.33443158125186]
本稿では,バニラ ViT のみを用いて,様々な視覚タスクに同時に適用可能な,シンプルかつ効果的な GiT フレームワークを提案する。
GiTはマルチタスクのビジュアルモデルで、タスク固有の微調整なしで5つの代表的なベンチマークで共同でトレーニングされている。
論文 参考訳（メタデータ） (2024-03-14T13:47:41Z) - Graph Transformers for Large Graphs [57.19338459218758]
この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。
この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。
ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
論文 参考訳（メタデータ） (2023-12-18T11:19:23Z) - Efficient Multi-View Graph Clustering with Local and Global Structure
Preservation [59.49018175496533]
局所・グローバル構造保存を用いた効率的なマルチビューグラフクラスタリング(EMVGC-LG)という,アンカーベースのマルチビューグラフクラスタリングフレームワークを提案する。
具体的には、EMVGC-LGがクラスタリング品質を向上させるために、アンカー構築とグラフ学習を共同で最適化する。
さらに、EMVGC-LGはサンプル数に関する既存のAMVGCメソッドの線形複雑性を継承する。
論文 参考訳（メタデータ） (2023-08-31T12:12:30Z) - Simple Contrastive Graph Clustering [41.396185271303956]
既存の手法を改善するための単純なコントラストグラフクラスタリング(SCGC)アルゴリズムを提案する。
我々のアルゴリズムは、最近のコントラストの高いディープクラスタリング競合よりも、平均して7倍のスピードアップを達成している。
論文 参考訳（メタデータ） (2022-05-11T06:45:19Z) - Global Filter Networks for Image Classification [90.81352483076323]
本稿では,対数線形複雑度を持つ周波数領域における長期空間依存性を学習する,概念的に単純だが計算効率のよいアーキテクチャを提案する。
この結果から,GFNetはトランスフォーマー型モデルやCNNの効率,一般化能力,堅牢性において,非常に競争力のある代替手段となる可能性が示唆された。
論文 参考訳（メタデータ） (2021-07-01T17:58:16Z) - Video Self-Stitching Graph Network for Temporal Action Localization [54.1254121061467]
ビデオセルフスティッチグラフネットワーク(VSGN)と呼ばれるマルチレベルクロススケールソリューションを提案する。
VSGNにはビデオセルフスティッチ(VSS)とクロススケールグラフピラミッドネットワーク(xGPN)という2つの重要なコンポーネントがあります。
我々のVSGNは、特徴表現を強化するだけでなく、短いアクションとより短いトレーニングサンプルのためのよりポジティブなアンカーを生成する。
論文 参考訳（メタデータ） (2020-11-30T07:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。