論文の概要: EcoVGGT: Pinned-Key Inference for Efficient and Streamable Feed-Forward 3D Reconstruction from Long Videos
- arxiv url: http://arxiv.org/abs/2611.18099v1
- Date: Fri, 13 Nov 2026 12:26:54 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:23:04.792428
- Title: EcoVGGT: Pinned-Key Inference for Efficient and Streamable Feed-Forward 3D Reconstruction from Long Videos
- Title(参考訳): EcoVGGT:ロングビデオからの効率的なフィードフォワード3次元再構成のためのピントキー推論
- Abstract要約: VGGTのようなマルチビュートランスは、カメラとビデオのジオメトリを1パスで回収するが、フレーム間のアテンションのコストはフレーム数とともに2倍に増加する。
本稿では,31フレームのピン付きキーセットをキーとするトレーニングフリー推論フレームワークであるEcoVGGTを提案する。
- 参考スコア(独自算出の注目度): 5.410304374735817
- License:
- Abstract: Feed-forward multi-view transformers such as VGGT recover the cameras and geometry of a video in one pass, but the cost of their cross-frame attention grows quadratically with the frame count, and their accuracy drops on long videos. Most remedies approximate attention over all frames within a budget or select a few keys by their content. We hypothesize that the keys of a long video can be chosen without looking at its content, and our experiments on VGGT and $π^3$ support it: a few dozen evenly spread frames can serve as the keys of every frame. We present EcoVGGT, a training-free inference framework whose keys form a Pinned Key Set of 31 such frames. A pin pass stores their tokens in a Scene Cache, and the other frames read it in independent batches that reproduce joint inference with these keys exactly, at a constant cost per frame. An Online Stream updates the pinned frames during recording. Six middle global blocks align the frames and form a reusable VGGT module: the Alignment Score reads their attention to flag failures, and Alignment Refocusing reduces them by fine-tuning only these blocks (3.6 GPU hours). EcoVGGT ($π^3$) matches the success rate of $π^3$ on 1,000-frame ScanNet videos at 13.8 times its speed. With refocusing, EcoVGGT (VGGT) raises the success rate of VGGT from 70% to 82% at 8.5 times its speed on 500 frames. EcoVGGT reconstructs 4,000 frames on one GPU, and EcoVGGT ($π^3$) streams 1,000 frames at 18.6 frames per second with the lowest online absolute trajectory error.
- Abstract(参考訳): VGGTのようなフィードフォワード型マルチビュートランスフォーマーは、ビデオのカメラとジオメトリを1パスで回収するが、フレーム数とともにフレーム間の注意のコストは2倍に増加し、長いビデオでは精度が低下する。
ほとんどのリメディエーションは、予算内のすべてのフレームに対する注意を近似するか、コンテンツによっていくつかのキーを選択する。
VGGTと$π^3$の実験では、フレームを均等に広げた数ダースのフレームが、すべてのフレームのキーとして機能する、という仮説を立てています。
本稿では,31フレームのピン付きキーセットをキーとするトレーニングフリー推論フレームワークであるEcoVGGTを提案する。
ピンパスはトークンをScene Cacheに格納し、他のフレームは独立したバッチで読み出し、これらのキーとの関節推論を正確に再現する。
オンラインストリームは、録音中にピン留めされたフレームを更新する。
6つの中間グローバルブロックがフレームを整列し、再利用可能なVGGTモジュールを形成する: Alignment Scoreはフラグ障害に注意を向け、Alignment Refocusingはこれらのブロックのみを微調整(3.6 GPU時間)することでそれらを縮小する。
EcoVGGT(π^3$)は1000フレームのScanNetビデオの速度の13.8倍の成功率と一致する。
再焦点化に伴い、EcoVGGT(VGGT)は500フレームでの速度の8.5倍でVGGTの成功率を70%から82%に引き上げる。
EcoVGGTは1つのGPU上で4,000フレームを再構成し、EcoVGGT(π^3$)は1000フレームを毎秒18.6フレームでストリーミングする。
関連論文リスト
- SceneBound: How Much Should a Streaming 3D Reconstruction Model Remember? [20.87615894247359]
トレーニングフリールールは、現在のフレームの信号から何を書くかを決定する。
SceneBoundは、予測されたカメラが保存されたポーズごとに少なくとも一定の半径にある場合にのみフレームを記述できるトレーニング不要のルールである。
論文 参考訳(メタデータ) (2026-10-31T09:06:16Z) - BlazeVGGT: 13x Faster VGGT at 2,000 Frames via Camera Token without Training [16.34277180965353]
BlazeVGGTは、構造対応のフレームレベルのキー値スペース化のためのトレーニングフリーフレームワークである。
2,000フレームのBlazeVGGTは、VGGTよりも約13$times$高速な推論を実現している。
実験は、ポイントクラウド再構成とカメラ配置推定において、良好な精度-効率のトレードオフを示す。
論文 参考訳(メタデータ) (2026-10-21T09:11:19Z) - Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding [9.560331815871441]
FramePack-Uは、一定メモリコストで、任意の長さのビデオを固定サイズのビジュアル表現に圧縮する。
FramePackに触発されて、固定トークン予算の下で視覚的理解のためのコンテンツ認識型圧縮戦略を提案する。
論文 参考訳(メタデータ) (2026-10-12T03:33:06Z) - Ground, Cover, and Refine: Evidence-Centric Frame Selection for Long-Video Question Answering [9.937860041147625]
長いビデオの質問に答えるには、制限された視覚的な予算の下でビデオからスパースで重要な証拠を特定する必要がある。
既存の方法は、単一のパスでクエリ対応フレームを選択するか、検索ガイダンスとしてタイムスタンプ付きテキストに頼るかのいずれかである。
本稿では,固定予算フレーム選択を共同エビデンスキュレーション問題として用いたトレーニングフリーフレームワークであるGCRを提案する。
論文 参考訳(メタデータ) (2026-08-03T03:50:22Z) - QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding [78.36929439152566]
本稿では,長いビデオからコンパクトだが情報に富んだフレームを選択可能なクエリ・アンド・コンテント・アウェア(QCA)選択フレームワークを提案する。
QCAは最もクエリ関連性の高いフレームにアンカーし、クエリのセマンティックな関連性を維持しながら、多様性を最大化するために追加のフレームを反復的に組み込む。
我々の方法は追加のトレーニングを必要とせず、既存のVideo-LLMにシームレスに統合できる。
論文 参考訳(メタデータ) (2026-07-01T14:19:24Z) - Frames2LoRA: Parametric Video Internalization for Vision-Language Models [52.46510577817688]
Frames2LoRAはパラメトリックビデオ内部化の手法である。
知覚者ハイパーネットワークは、層ごとに生成された中間表現を読み出し、凍結されたVLMがビデオをエンコードする。
ローランド適応 (LoRA) アダプタを1つのフォワードパスで生成する。
論文 参考訳(メタデータ) (2026-06-03T02:07:35Z) - AdaCodec: A Predictive Visual Code for Video MLLMs [66.30108093864139]
我々は,このインターフェースを音声予測ビジュアルコードと呼び,ビデオMLLMを textbfAdaCodec としてインスタンス化する。
AdaCodecは、条件付き予測コストが高い場合にのみ、参照フレームに完全なビジュアルトークンを使用する。
これは、動きや予測残差を含むフレーム間の変化をコンパクトなPトークンとしてエンコードする。
論文 参考訳(メタデータ) (2026-06-01T17:56:35Z) - Attention Itself Could Retrieve.RetrieveVGGT: Training-Free Long Context Streaming 3D Reconstruction via Query-Key Similarity Retrieval [86.05617542701644]
Visual Geometry Grounded Transformer (VGGT)はスケーラブルなTransformerアーキテクチャを通じて3D再構成を行う。
StreamVGGTは因果的にストリーミングを可能にするが、KVキャッシュはフレームとともに線形に成長し、メモリオーバーフローと品質劣化を引き起こす。
本稿では、VGGTのコンテキスト構築を検索問題として定式化する、トレーニング不要なフレームワークRetrieveVGGTを提案する。
論文 参考訳(メタデータ) (2026-05-10T16:41:54Z) - FrameVGGT: Frame Evidence Rolling Memory for streaming VGGT [3.5844726281072448]
StreamVGGTのようなストリーミングビジュアルジオメトリ変換は、強力なオンライン3D知覚を可能にするが、境界のないKVキャッシュの増大に悩まされる。
フレーム駆動型ローリング明示メモリフレームワークであるFrameVGGTを提案し,各フレームのインクリメンタルKVコントリビューションをコヒーレントエビデンスブロックとして扱う。
論文 参考訳(メタデータ) (2026-03-08T15:46:03Z) - ViD-GPT: Introducing GPT-style Autoregressive Generation in Video Diffusion Models [66.84478240757038]
ビデオ拡散モデル(VDM)の大多数は、自己回帰的な方法で長いビデオを生成する。
我々は、VDMに因果生成(すなわち一方向)を導入し、過去のフレームを将来のフレームを生成するプロンプトとして利用する。
我々のVD-GPTは、長大なビデオ生成において、定量的かつ質的に最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-06-16T15:37:22Z) - Looking Backward: Streaming Video-to-Video Translation with Feature Banks [65.46145157488344]
StreamV2Vは、ユーザプロンプトによるリアルタイムストリーミングビデオ変換(V2V)を実現する拡散モデルである。
1つのA100 GPU上で20 FPSを実行することができ、FlowVid、CoDeF、Rerender、TokenFlowよりも15x、46x、108x、158x高速である。
論文 参考訳(メタデータ) (2024-05-24T17:53:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。