論文の概要: Training-Free Acceleration of Multi-View 3D Transformers via Regime-Aware Attention Approximation
- arxiv url: http://arxiv.org/abs/2611.17629v1
- Date: Fri, 13 Nov 2026 00:59:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.28501
- Title: Training-Free Acceleration of Multi-View 3D Transformers via Regime-Aware Attention Approximation
- Title(参考訳): レジーム・アウェア・アテンション近似による多視点3次元変圧器の訓練自由加速
- Abstract要約: VGGTのようなマルチビュー3Dトランスフォーマーは、1つの前方通過で未提示画像の集合からシーンを再構成する。
8ビットの精度で注意を向け、最悪のキャリブレーションチェックが必要な層にのみ16ビットの精度を維持できるトレーニングフリー手法を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-view 3D transformers such as VGGT reconstruct a scene from a set of unposed images in a single forward pass, predicting camera poses, depth and 3D points, but the cost of their global attention grows quadratically with the num- ber of images. Accelerators borrowed from large language models assume that each token attends to only a few oth- ers; on these models they lose accuracy or gain little speed. We study the global attention of three multi-view transform- ers on seven datasets and find that every layer plays one of three roles: it averages over the whole scene, matches points across many images, or anchors on the first image, whose coordinates the outputs use. Building on this anal- ysis, we propose Regime-AWare ATTention Approximation (RAWATTA), a training-free method that runs attention in 8- bit precision and keeps 16-bit precision only in the layers where a worst-case calibration check requires it. Its fast set- ting, RAWATTA-Fast, also approximates attention in a few averaging and anchoring layers, while matching layers and the first image keep all their keys. On a 12 GB GPU at 50 im- ages, RAWATTA runs VGGT faster than the released code, mostly through our CUDA engine, and loses at most about one point of pose accuracy (AUC@3) on any dataset; RAWATTA-Fast is slightly faster and less accurate. Both fit 200 images, where the released code runs out of memory at 100.
- Abstract(参考訳): VGGTのようなマルチビュー3Dトランスフォーマーは、カメラのポーズ、奥行き、および3Dポイントを予測するために、1つの前方パスで未提示画像の集合からシーンを再構築するが、そのグローバルな注意のコストは、画像の無数のバーで2倍に増加する。
大型言語モデルから借用された加速器は、各トークンがわずか数個のoth-ersに付随すると仮定する。
7つのデータセット上の3つのマルチビュー変換器のグローバルな注目度を調査し、各レイヤが3つの役割のうちの1つを担っていることを発見した。
8ビットの精度で注意を向け、最悪のキャリブレーションチェックが必要な層にのみ16ビットの精度を維持できるトレーニングフリーの手法であるRegime-AWare ATTention Approximation (RAWATTA)を提案する。
その高速なセットティングであるRAWATTA-Fastは、平均的なレイヤとアンカー層で注意を近似し、マッチング層と最初のイメージはすべてのキーを保持する。
現在50歳の12GBのGPU上で、RAWATTAはリリース済みのコードよりも高速にVGGTを実行し、おもにCUDAエンジンを介して、任意のデータセットで1ポイントのポーズ精度(AUC@3)を失う。
どちらも200のイメージに適合し、リリースされたコードは100でメモリを使い果たした。
関連論文リスト
- FlashVGGT: Efficient and Scalable Visual Geometry Transformers with Compressed Descriptor Attention [11.71939856454585]
マルチビュー画像からの3D再構成は、コンピュータビジョンにおける中核的な課題である。
最近のフィードフォワード法は、従来のシーンごとの最適化手法に代わる効率的で堅牢な代替手段として現れている。
我々は、ディスクリプタベースのアテンションメカニズムを通じて、このボトルネックに対処する効率的な代替手段であるFlashVGTを紹介します。
論文 参考訳(メタデータ) (2025-12-01T11:12:37Z) - Accelerate 3D Object Detection Models via Zero-Shot Attention Key Pruning [15.40654753734657]
3次元オブジェクト検出モデルにおけるトランスフォーマーデコーダのゼロショット実行時プルーニング法を提案する。
提案手法は,ToC3Dモデルのトランスデコーダにおける1.99倍の高速化を実現する。
論文 参考訳(メタデータ) (2025-03-11T07:03:28Z) - Adapt3R: Adaptive 3D Scene Representation for Domain Transfer in Imitation Learning [28.80962812015936]
模倣学習は、ロボットに複雑な多様な操作タスクを実行するよう訓練することができるが、学習されたポリシーはトレーニング分布外の観察で不安定である。
本稿では,キャリブレーションされたRGBDカメラのデータを任意のILアルゴリズムの条件付けとして使用できるベクトルに合成する汎用3D観測エンコーダAdapt3Rを提案する。
93のシミュレーションと6つの実際のタスクを、さまざまなILアルゴリズムでエンドツーエンドにトレーニングすると、Adapt3Rはこれらのアルゴリズムの学習能力を維持しながら、新しいエボディメントやカメラのポーズへのゼロショット転送を可能にします。
論文 参考訳(メタデータ) (2025-03-06T18:17:09Z) - Baking Gaussian Splatting into Diffusion Denoiser for Fast and Scalable Single-stage Image-to-3D Generation and Reconstruction [85.63888634902997]
単一視点からのオブジェクト生成とシーン再構成のための新しい1段3次元拡散モデルDiffusionGSを提案する。
DiffusionGSはビュー一貫性を強制するために、各タイミングで3Dガウス点雲を直接出力する。
DiffusionGSは、オブジェクトやシーンのPSNR/FIDにおいて2.20dB/23.25と1.34dB/19.16の改善をもたらすことを示した。
論文 参考訳(メタデータ) (2024-11-21T18:21:24Z) - Make Your ViT-based Multi-view 3D Detectors Faster via Token Compression [78.93023152602525]
スロー推論速度は、自律運転のようなリアルタイムの要求の高いタスクにマルチビュー3D検出器を配置する上で最も重要な問題の一つである。
TokenCompression3D (ToC3D) と呼ばれるシンプルで効果的な方法を提案する。
提案手法は, 最大30%の推論スピードアップで最近のSOTAの性能をほぼ維持できる。
論文 参考訳(メタデータ) (2024-09-01T06:58:08Z) - Splatter Image: Ultra-Fast Single-View 3D Reconstruction [67.96212093828179]
Splatter ImageはGaussian Splattingをベースにしており、複数の画像から3Dシーンを高速かつ高品質に再現することができる。
テスト時に38FPSでフィードフォワードで再構成を行うニューラルネットワークを学習する。
いくつかの総合、実、マルチカテゴリ、大規模ベンチマークデータセットにおいて、トレーニング中にPSNR、LPIPS、その他のメトリクスでより良い結果を得る。
論文 参考訳(メタデータ) (2023-12-20T16:14:58Z) - Memory transformers for full context and high-resolution 3D Medical
Segmentation [76.93387214103863]
本稿では,この問題を克服するために,Full resolutIoN mEmory (FINE) 変換器を提案する。
FINEの基本的な考え方は、メモリトークンを学習して、フルレンジインタラクションを間接的にモデル化することだ。
BCV画像セグメンテーションデータセットの実験は、最先端のCNNやトランスフォーマーベースラインよりも優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2022-10-11T10:11:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。