論文の概要: Closing the Loop: Training-Free Revisit Consistency for Autoregressive Generative Rendering
- arxiv url: http://arxiv.org/abs/2607.21848v1
- Date: Thu, 23 Jul 2026 22:33:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 20:58:57.009462
- Title: Closing the Loop: Training-Free Revisit Consistency for Autoregressive Generative Rendering
- Title(参考訳): ループを閉じる: 自動回帰生成レンダリングのためのトレーニング不要のリビジット一貫性
- Authors: Wenchao Ma, Changran Liu, Sharon X. Huang, Haomiao Jiang,
- Abstract要約: 自動回帰ジェネレータは、ビデオチャンクを境界KVキャッシュでチャンクごとに合成する。
カメラがコンテキストが削除された後に位置を再設定すると、モデルはしばしば一貫性のない外観を再生する。
我々は3Dエンジンが既に提供している通信を利用して、後処理をせずに、この再検討の不整合に対処する。
- 参考スコア(独自算出の注目度): 8.16620085872554
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent conditional video generation models have shown promising potentials to transform 3D engine renderings, such as depth maps and untextured geometry, into photorealistic videos for gaming and immersive content creation. These applications require long-horizon auto-regressive generation that continuously synthesizes new frames while preserving a persistent 3D world. Auto-regressive generators synthesize video chunk by chunk with a bounded KV cache, so when the camera revisits a location after its context has been evicted, the model often regenerates inconsistent appearance, even though the conditioning renderings (e.g., depth) remain perfectly aligned with the underlying geometry.We address this revisit inconsistency without any post-training by exploiting correspondences the 3D engine already provides: temporal correspondence retrieves pose-matched historical latent chunks into the KV cache as loop-closure memory, while spatial correspondence from camera pose and depth reprojection biases token-level attention toward geometrically corresponding regions of the retrieved chunks. We demonstrate our method on loop-closure trajectories mined from TartanAir and TartanGround dataset to mirror complicate real-world application scenarios, where it outperforms existing training-free baselines on revisit consistency without losing overall video quality. Project Page: https://wenchao-m.github.io/ClosetheLoop.github.io/
- Abstract(参考訳): 最近の条件付きビデオ生成モデルは、深度マップや非テクスチャ幾何学のような3Dエンジンレンダリングを、ゲームや没入型コンテンツ作成のためのフォトリアリスティックビデオに変換する有望な可能性を示している。
これらの応用には、永続的な3D世界を保ちながら、新しいフレームを継続的に合成する長い水平自動回帰生成が必要である。
自動回帰生成装置は、ビデオチャンクを境界KVキャッシュでチャンクで合成するので、カメラがコンテキストが削除された後の位置を再検討すると、条件付けレンダリング(例えば、深さ)が基礎となる幾何学と完全に一致しているにもかかわらず、しばしば不整合な外観を再生する。
本稿では,TartanAirとTartanGroundのデータセットから抽出したループ閉鎖トラジェクトリを実世界のアプリケーションシナリオのミラーとして示す。
Project Page: https://wenchao-m.github.io/ClosetheLoop.github.io/
関連論文リスト
- Lyra 2.0: Explorable Generative 3D Worlds [77.45279013687427]
Lyra 2.0は、永続的で探索可能な3D世界を大規模に生成するためのフレームワークです。
空間的忘れに対処するため、フレームごとの3D形状を維持し、情報ルーティングのみに使用します。
自己拡張された履歴をトレーニングして、モデルを自身の劣化した出力に公開し、それを伝播するのではなく、ドリフトを正すように教えます。
論文 参考訳(メタデータ) (2026-04-14T17:59:44Z) - I3DM: Implicit 3D-aware Memory Retrieval and Injection for Consistent Video Scene Generation [56.33710337846449]
I3DMは、一貫した映像シーン生成のための暗黙的な3D対応メモリ機構である。
われわれのアプローチの核心は3D対応メモリ検索戦略である。
検索した履歴フレームをフル活用するために,3次元メモリインジェクションモジュールを導入する。
論文 参考訳(メタデータ) (2026-03-24T16:45:40Z) - Geometry-as-context: Modulating Explicit 3D in Scene-consistent Video Generation to Geometry Context [33.99324999592141]
Scene-Consistent Video Generationは、カメラの軌跡に基づいて3Dシーンを探索するビデオを作成することを目的としている。
従来の手法では、外部メモリを用いたビデオ生成モデルに一貫性がある。
これらの制限を克服するために、幾何・アズ・コンテクスト”を導入します。
論文 参考訳(メタデータ) (2026-02-25T14:09:03Z) - WorldWarp: Propagating 3D Geometry with Asynchronous Video Diffusion [78.20778143251171]
WorldWarpは、3D構造アンカーと2D生成ファインダを結合するフレームワークだ。
WorldWarpは、各ステップで3Dキャッシュを動的に更新することで、ビデオチャンク間の一貫性を維持する。
3Dロジックが構造をガイドし、拡散ロジックがテクスチャを完璧にすることで、最先端の忠実さを実現する。
論文 参考訳(メタデータ) (2025-12-22T18:53:50Z) - Voyager: Long-Range and World-Consistent Video Diffusion for Explorable 3D Scene Generation [66.95956271144982]
本稿では,単一画像から一貫した3Dポイントクラウドシーケンスを生成する新しいビデオ拡散フレームワークであるVoyagerを紹介する。
既存のアプローチとは異なり、Voyagerはフレーム間で固有の一貫性を持って、エンドツーエンドのシーン生成と再構築を実現している。
論文 参考訳(メタデータ) (2025-06-04T17:59:04Z) - Temporally Consistent Transformers for Video Generation [80.45230642225913]
正確なビデオを生成するには、アルゴリズムは世界の空間的および時間的依存関係を理解する必要がある。
時間依存性のあるビデオ生成を厳格に評価するために、複雑なデータに関する確立されたベンチマークは存在しない。
本稿では,長期間の一貫性を著しく向上し,サンプリング時間を短縮するTemporally Consistent Transformer(TECO)を提案する。
論文 参考訳(メタデータ) (2022-10-05T17:15:10Z) - Online Adaptation for Consistent Mesh Reconstruction in the Wild [147.22708151409765]
入ってくるテストビデオに適用する自己教師型オンライン適応問題として、ビデオベースの再構成を行う。
我々は,野生で捕獲された動物を含む非剛体物体のビデオから,時間的に一貫した信頼性の高い3D構造を復元できることを実証した。
論文 参考訳(メタデータ) (2020-12-06T07:22:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。