論文の概要: Spark3R: Asymmetric Token Reduction Makes Fast Feed-Forward 3D Reconstruction
- arxiv url: http://arxiv.org/abs/2605.06270v1
- Date: Thu, 07 May 2026 13:45:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.856647
- Title: Spark3R: Asymmetric Token Reduction Makes Fast Feed-Forward 3D Reconstruction
- Title（参考訳）: Spark3R: 高速フィードフォワード3D再構成を実現する非対称トークン削減
- Abstract要約: 視覚変換器に基づくフィードフォワード3D再構成モデルは,少数の入力画像からシーン形状とカメラポーズを推定することができる。
数百から数千フレームのビデオ入力にスケールすることは、グローバルアテンションレイヤーの二次的なコストのため、依然として難しい。
本稿では,クエリトークンとキー値トークンの圧縮を分離する,トレーニング不要なアクセラレーションフレームワークSpark3Rを提案する。
再トレーニングを必要としないプラグアンドプレイフレームワークとして、Spark3Rは、事前トレーニングされた複数のフィードフォワード3D再構築モデルに直接統合される。
- 参考スコア（独自算出の注目度）: 47.55355615080919
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Feed-forward 3D reconstruction models based on Vision Transformers can directly estimate scene geometry and camera poses from a small set of input images, but scaling them to video inputs with hundreds or thousands of frames remains challenging due to the quadratic cost of global attention layers. Recent token-merging methods accelerate these models by compressing the token sequence within the global attention layers, but they apply a uniform reduction to query tokens and key-value tokens, ignoring their functionally distinct roles in 3D reconstruction. In this work, we identify a key property of feed-forward 3D reconstruction models: query tokens encode view-specific geometric requests and are sensitive to compression, while key-value tokens represent shared scene context and tolerate aggressive compression. Guided by this insight, we propose Spark3R, a training-free acceleration framework that decouples the compression of query tokens and key-value tokens by assigning distinct reduction factors, with intra-group token merging applied to query tokens and lightweight token pruning to key-value tokens. Additionally, Spark3R adaptively adjusts the key-value reduction factor across layers, further improving the quality-efficiency trade-off. As a plug-and-play framework requiring no retraining, Spark3R integrates directly into multiple pretrained feed-forward 3D reconstruction models, including VGGT, $π^3$, and Depth-Anything-3, and achieves up to $28\times$ speedup on 1,000-frame inputs while maintaining competitive reconstruction quality.
- Abstract（参考訳）: 視覚変換器をベースとしたフィードフォワード3D再構成モデルは,少数の入力画像からシーン形状とカメラポーズを直接推定することができるが,グローバルアテンション層の2次コストのため,数百,数千フレームの映像入力にスケールすることは依然として困難である。
近年のトークンマージ手法は,グローバルアテンション層内でトークンシーケンスを圧縮することでこれらのモデルを加速するが,クエリトークンとキー値トークンに一様還元を適用し,機能的に異なる3次元再構成の役割を無視する。
本研究では,フィードフォワード3次元再構成モデルの鍵となる特性を同定する。クエリトークンはビュー固有の幾何学的要求を符号化し,圧縮に敏感であるのに対して,キーバリュートークンは共有シーンコンテキストを表し,攻撃的な圧縮を許容する。
この知見に導かれたSpark3Rは,クエリトークンとキーバリュートークンの圧縮を個別に割り当てることで,クエリトークンとキーバリュートークンの圧縮を分離する,トレーニング不要なアクセラレーションフレームワークである。
さらにSpark3Rは、レイヤ間のキー値の低減係数を適応的に調整し、品質と効率のトレードオフをさらに改善する。
再トレーニングを必要としないプラグイン・アンド・プレイのフレームワークとして、Spark3RはVGGT、$π^3$、Depth-Anything-3など、事前トレーニング済みのフィードフォワード3D再構成モデルに直接統合し、1000フレームのインプットで最大280\times$のスピードアップを実現し、競争力のある再構築品質を維持している。
関連論文リスト
- ZipTok3D: High-Fidelity 3D Tokenization with Compact Token Prefixes [38.735159381505014]
ZipTok3Dは、非常に短いトークンシーケンスからの高忠実度再構成のために設計された3Dトークンライザである。
同じトークン次元でZipTok3Dは32token COD-VAEベースラインに匹敵する再現性を実現する。
論文 参考訳（メタデータ） (2026-09-01T18:07:49Z) - See What Matters: Differentiable Grid Sample Pruning for Generalizable Vision-Language-Action Model [25.03258383353867]
Differentiable Grid Sampler (GridS) は、Vision-Language-Action(VLA)モデルで視覚トークンのタスク認識、継続的な再サンプリングを行うプラグイン・アンド・プレイモジュールである。
GridSは、10%未満のオリジナルビジュアルトークンで劇的な圧縮を実現しつつ、必須の空間情報を保存する。
論文 参考訳（メタデータ） (2026-05-12T09:08:42Z) - Speed3R: Sparse Feed-forward 3D Reconstruction Models [15.534969350839788]
我々は,Structure-from-Motionのコア原理にインスパイアされた,エンドツーエンドのトレーニング可能なモデルであるSpeed3Rを紹介する。
Speed3Rは、圧縮ブランチが選択ブランチを導く前に粗いコンテキストを生成するデュアルブランチアテンション機構を備えている。
この戦略は従来のキーポイントマッチングの効率を模倣し、1000ビューシーケンスでの12.4倍の推論速度を達成する。
論文 参考訳（メタデータ） (2026-03-09T07:46:51Z) - SceneTok: A Compressed, Diffusable Token Space for 3D Scenes [18.094424146923892]
SceneTokは、シーンのビューセットを圧縮・拡散可能な非構造化トークンセットにエンコードする新しいトークンである。
圧縮が他の表現よりも1～3桁強く、なおも最先端の復元品質に到達していることを示す。
論文 参考訳（メタデータ） (2026-02-21T16:08:17Z) - PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。
提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。
LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
論文 参考訳（メタデータ） (2026-02-04T15:33:10Z) - Behavior-Equivalent Token: Single-Token Replacement for Long Prompts in LLMs [55.827877498548965]
単一プロンプト固有の振る舞い等価トークン([BE])を学習する軽量なトレーニングフレームワークを提案する。
フレームワークはまず[BE]に、元のシステムプロンプトの自然言語内容を再構成してエンコードし、その後、プロンプトの下流の振る舞いをこの単一のトークンに蒸留するように訓練する。
3つのデータセットに対する実証的な評価は、1つの[BE]トークンが3000倍の高速化を実現し、元のシステムの下流性能の約98%を維持していることを示している。
論文 参考訳（メタデータ） (2025-11-28T15:22:52Z) - H$_{2}$OT: Hierarchical Hourglass Tokenizer for Efficient Video Pose Transformers [124.11648300910444]
Heerarchical Hourglass Tokenizer (H$_2$OT) と呼ばれる階層的なプラグアンドプレイプルーニング&ドル回復フレームワークを提案する。
提案手法は汎用的であり,Seq2seqおよびSeq2frameパイプラインの共通VPTモデルに容易に組み込むことができる。
論文 参考訳（メタデータ） (2025-09-08T17:59:59Z) - R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。
CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。
トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
論文 参考訳（メタデータ） (2025-07-23T08:14:36Z) - CLiFT: Compressive Light-Field Tokens for Compute-Efficient and Adaptive Neural Rendering [20.916387646203273]
本稿では,シーンを「圧縮光フィールドトークン(CLiFT)」として表現するニューラルレンダリング手法を提案する。
CLiFTは、圧縮されたトークンによる計算効率のレンダリングを可能にし、シーンを表すトークンの数を変更したり、トレーニングされたネットワークで新しいビューをレンダリングすることができる。
論文 参考訳（メタデータ） (2025-07-11T17:38:52Z) - GigaTok: Scaling Visual Tokenizers to 3 Billion Parameters for Autoregressive Image Generation [81.58846231702026]
視覚トークン化のスケーリングにおいて、画像再構成、生成、表現学習を改善するための最初のアプローチであるGigaTokを紹介する。
我々は、遅延空間の増大する複雑さを、再生と世代ジレンマの主な要因とみなす。
数十億ドルのパラメータにスケールアップすることで、GigaTokは、再構築、下流のAR生成、下流のAR表現品質における最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-04-11T17:59:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。