論文の概要: Geometry as Address: Routing Attention to Visual Memory for Long-Horizon Camera-Controlled Video Generation
- arxiv url: http://arxiv.org/abs/2609.34722v1
- Date: Mon, 28 Sep 2026 09:27:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 03:25:34.048471
- Title: Geometry as Address: Routing Attention to Visual Memory for Long-Horizon Camera-Controlled Video Generation
- Title(参考訳): 住所としての幾何学:長距離カメラ制御ビデオ生成のための視覚記憶への注意のルーティング
- Abstract要約: ロングホライゾンカメラ制御ビデオ生成は、成長を続ける視覚の歴史から、これまで観察されたコンテンツを回復する必要がある。
既存のアプローチでは、歴史的コンテキストを暗黙的に検索するか、永続的な3Dメモリに再構築する。
我々は、幾何学を視覚記憶のための明示的なトークンレベルアドレスとして利用するGeometry-Enabled Attention RoutingフレームワークであるGEARを紹介する。
- 参考スコア(独自算出の注目度): 65.27606758907416
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-horizon camera-controlled video generation requires recovering previously observed content from an ever-growing visual history. Existing approaches either search historical context implicitly or reconstruct it into persistent 3D memory, facing inefficient memory access or accumulated geometric errors. Our key insight is that geometry need not explain the scene--it only needs to determine where visual memory should be read from, while attention decides what should be recovered. Based on this insight, we introduce GEAR, a Geometry-Enabled Attention Routing framework that uses geometry as an explicit token-level address for visual memory. Rather than fusing historical observations into a persistent global 3D representation, GEAR retains them as frame latents and uses per-frame geometry only to establish token-level correspondences with target views, thereby avoiding persistent error accumulation from global fusion. Guided by these correspondences, Geometric Correspondence Attention (GCA) selectively injects geometrically matched historical features into noisy target patches during denoising. We further introduce an Invisible Octree to accumulate visibility evidence and reject geometrically plausible but occluded correspondences. Extensive experiments demonstrate that GEAR achieves state-of-the-art visual quality, precise camera control, and revisit consistency, enabling minute-long video generation along challenging trajectories.
- Abstract(参考訳): ロングホライゾンカメラ制御ビデオ生成は、成長を続ける視覚の歴史から、これまで観察されたコンテンツを回復する必要がある。
既存のアプローチでは、歴史的コンテキストを暗黙的に検索するか、3Dメモリに再構築し、非効率なメモリアクセスに直面したり、幾何的エラーを蓄積したりする。
私たちの重要な洞察は、幾何学はシーンを説明する必要はないということです。
この知見に基づいて,幾何を視覚記憶のための明示的なトークンレベルアドレスとして用いるGeometry-Enabled Attention RoutingフレームワークであるGEARを紹介する。
GEARは、歴史的観測結果を永続的なグローバルな3D表現に融合させるのではなく、フレームラテントとして保持し、フレーム単位の幾何学を用いて、ターゲットビューとトークンレベルの対応を確立することで、グローバルな融合から永続的なエラーの蓄積を回避する。
これらの対応によって、幾何学的対応注意(Geometric Cor correspondingence Attention, GCA)は、聴覚障害時に、幾何学的にマッチした歴史的特徴をノイズのあるターゲットパッチに選択的に注入する。
さらに、可視性証拠を蓄積し、幾何的に可視だが無視される対応を拒絶する可視性オクターレを導入する。
大規模な実験により、GEARは最先端の視覚的品質、精密なカメラ制御、再検討の一貫性を実現し、挑戦的な軌道に沿った微小なビデオ生成を可能にした。
関連論文リスト
- Retrieve What's Missing: Coverage-Maximizing Retrieval for Consistent Long Video Generation [31.251444284229397]
自己回帰ビデオ生成のためのCOVRAG(Coverage-Maximizing Retrieval-Augmented Generation)を提案する。
COVRAGは、トレーニング済みの3Dプリエンプションを使用して、軽量な3Dメモリエビデンスとしてターゲットビューカバレッジマップを構築する。
RealEstate10K と DL3DV10K の実験では、COVRAG はベースラインに比べて低レイテンシを維持しながら、長い水平の幾何的整合性を改善する。
論文 参考訳(メタデータ) (2026-06-01T16:49:58Z) - Geometry-Aware Implicit Memory for Video World Models [29.522291951915577]
GIM-Worldは、ビデオワールドモデルのための幾何学的な暗黙記憶フレームワークである。
カメラクエリ可能な幾何ヘッドは、凍結基礎モデルからトレーニング中にメモリに3Dシーン構造を蒸留する。
MINDの実験では、GIM-Worldは明示的メモリベースラインと暗黙的メモリベースラインの両方よりも、長期の幾何学的および視覚的一貫性を保っている。
論文 参考訳(メタデータ) (2026-06-01T16:08:43Z) - Q-GeoMem: Question-Guided Geometric Memory for Video Spatial Reasoning [53.96129188781529]
ビデオ空間推論のための質問誘導幾何メモリフレームワークを提案する。
カメラ条件の幾何学を 視覚トークンに注入し 2つの相補記憶を維持します
本研究は,評価空間推論モデルにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2026-05-26T17:26:29Z) - I3DM: Implicit 3D-aware Memory Retrieval and Injection for Consistent Video Scene Generation [56.33710337846449]
I3DMは、一貫した映像シーン生成のための暗黙的な3D対応メモリ機構である。
われわれのアプローチの核心は3D対応メモリ検索戦略である。
検索した履歴フレームをフル活用するために,3次元メモリインジェクションモジュールを導入する。
論文 参考訳(メタデータ) (2026-03-24T16:45:40Z) - AnchorWeave: World-Consistent Video Generation with Retrieved Local Spatial Memories [78.78355829813793]
既存のメモリベースのアプローチでは、歴史的に再構成された幾何学のアンカービデオをレンダリングすることで、グローバルに再構成された3Dシーンを条件付けすることが多い。
AnchorWeaveは、単一の不整合グローバルメモリを複数のローカルな幾何学的メモリに置き換える、メモリ拡張ビデオ生成フレームワークである。
実験によると、AnchorWeaveは視覚的品質を維持しながら、長期的なシーンの一貫性を著しく向上する。
論文 参考訳(メタデータ) (2026-02-16T17:23:08Z) - Geometry-Aware Rotary Position Embedding for Consistent Video World Model [48.914346802616414]
ViewRopeは、ビデオトランスフォーマーの自己アテンション層に直接カメラの方向を注入するジオメトリ対応のエンコーディングである。
Geometry-Aware Frame-Sparse Attentionは、これらの幾何学的手がかりを利用して、関連する歴史的なフレームに選択的に参加する。
この結果から,ViewRopeは長期的整合性を大幅に向上し,計算コストを低減できることがわかった。
論文 参考訳(メタデータ) (2026-02-08T08:01:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。