論文の概要: Consistent Video-to-Video Translation via Explicit Correspondences
- arxiv url: http://arxiv.org/abs/2611.17298v1
- Date: Thu, 12 Nov 2026 18:55:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.595711
- Title: Consistent Video-to-Video Translation via Explicit Correspondences
- Title(参考訳): 明示的対応による一貫したビデオ間翻訳
- Abstract要約: ビデオとビデオのアプリケーションは、長時間の時間的一貫性を維持しながらリアルタイムに生成する必要がある。
簡単な観察に基づく対応型アプローチであるvid2vid-longを導入する。
我々の実験は、vid2vid-longが最近のビデオモデル間の時間的長距離一貫性を一貫して改善することを示した。
- 参考スコア(独自算出の注目度): 56.31472391240623
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interactive video-to-video applications require real-time generation while maintaining long-range temporal consistency. However, recent methods achieve speed by restricting attention to a fixed-length causal window. This limits long-range consistency whenever relevant history falls outside the context window. To address this limitation, we introduce vid2vid-long, a correspondence-based approach grounded in a simple observation. Video-to-video translation provides an explicit cross-frame reference: the regions that match in the input video should match in the output video too. Concretely, we compute patch-level correspondences in the input, guiding retrieval of previously generated outputs in the corresponding regions, and condition the model on these patches through correspondence cross-attention. Our experiments demonstrate that vid2vid-long consistently improves long-range temporal consistency across recent video models while preserving generation quality and real-time performance.
- Abstract(参考訳): 対話型ビデオ・ビデオアプリケーションは、長時間の時間的一貫性を維持しながらリアルタイムな生成を必要とする。
しかし,近年の手法は固定長の因果窓に注意を向けることによって高速化されている。
これにより、関連する履歴がコンテキストウィンドウの外にある場合、長距離一貫性が制限される。
この制限に対処するため,簡単な観測に基づく対応型アプローチvid2vid-longを導入する。
ビデオからビデオへの変換は、明示的なクロスフレーム参照を提供する: 入力ビデオで一致した領域は、出力ビデオでも一致すべきである。
具体的には、入力中のパッチレベルの対応を計算し、対応する領域で以前に生成された出力の検索を誘導し、これらのパッチのモデルに対応関係を保ちながら条件を定めます。
実験により、vid2vid-long は、生成品質とリアルタイム性能を保ちながら、最近のビデオモデル間での長時間の時間的一貫性を一貫して改善することを示した。
関連論文リスト
- Towards Error-Free Long Video Generation [56.86952045212838]
本稿では,高品質でダイナミックでアイデンティティに一貫性のある単一ショット長ビデオを生成する,無限長のビデオ生成フレームワークを提案する。
まず,大規模なショートビデオデータに基づいて拡散モデルをビデオ拡張モデルとして微調整し,時間的コヒーレントなクリップを自動的に生成する。
我々のフレームワークは、リアルでコヒーレントな微小レベルのビデオ合成のための新しいベンチマークを確立する。
論文 参考訳(メタデータ) (2026-06-21T07:39:37Z) - FlowLong: Inference-time Long Video Generation via Manifold-constrained Tweedie Matching [68.01498128172214]
本稿では,アーキテクチャに依存しない,追加のトレーニングを必要としない長大なビデオ生成のための,斬新でシンプルな推論時間アプローチを提案する。
提案手法では,隣接するウィンドウからのクリーンサンプルをemphTweedieマッチングでブレンドし,テキストbfmanifoldの制約と重複領域間の時間的一貫性を強制する。
本手法は, 時間的一貫性と視覚的品質において, トレーニング不要, 自己回帰ベースラインを両立させながら, ネイティブウィンドウ長よりも数倍長大のビデオを生成する。
論文 参考訳(メタデータ) (2026-05-20T08:55:37Z) - LatentWarp: Consistent Diffusion Latents for Zero-Shot Video-to-Video
Translation [21.815083817914843]
我々はtextitLatentWarp というゼロショット動画翻訳フレームワークを提案する。
我々のアプローチは単純で、クエリトークンの時間的一貫性を制約するために、潜伏した空間にワープ操作を組み込む。
textitLatentWarpの時間的コヒーレンスによるビデオ間翻訳における優位性を示す実験結果を得た。
論文 参考訳(メタデータ) (2023-11-01T08:02:57Z) - ConditionVideo: Training-Free Condition-Guided Text-to-Video Generation [33.37279673304]
提案する条件, 映像, 入力テキストに基づいて, テキスト・ビデオ生成のためのトレーニング不要なアプローチである ConditionVideo を紹介する。
ConditionVideoはランダムノイズやシーンビデオからリアルなダイナミックビデオを生成する。
提案手法は,フレームの整合性,クリップスコア,条件精度において優れた性能を示し,他の比較手法よりも優れていた。
論文 参考訳(メタデータ) (2023-10-11T17:46:28Z) - Revisiting Kernel Temporal Segmentation as an Adaptive Tokenizer for
Long-form Video Understanding [57.917616284917756]
実世界のビデオは、しばしば数分間の長さであり、意味的に一貫した長さのセグメントがある。
長いビデオを処理するための一般的なアプローチは、一定時間の長さの一様にサンプリングされたクリップにショートフォームビデオモデルを適用することである。
このアプローチは、固定長のクリップがしばしば冗長または非形式的であるため、長いビデオの基本的な性質を無視する。
論文 参考訳(メタデータ) (2023-09-20T18:13:32Z) - Generating Long Videos of Dynamic Scenes [66.56925105992472]
本稿では、物体の動きを再現する映像生成モデル、カメラ視点の変化、時間とともに現れる新しいコンテンツについて述べる。
よくある障害ケースは、コンテンツが時間的一貫性を提供する誘導バイアスに過度に依存するため、決して変化しないことです。
論文 参考訳(メタデータ) (2022-06-07T16:29:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。