論文の概要: VideoCanvas: Unified Video Completion from Arbitrary Spatiotemporal Patches via In-Context Conditioning

• arxiv url: http://arxiv.org/abs/2510.08555v1
• Date: Thu, 09 Oct 2025 17:58:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.301123
• Title: VideoCanvas: Unified Video Completion from Arbitrary Spatiotemporal Patches via In-Context Conditioning
• Title（参考訳）: VideoCanvas: 任意の時空間パッチからインテクストコンディショニングによる統合ビデオコンプリート
• Authors: Minghong Cai, Qiulin Wang, Zongli Ye, Wenze Liu, Quande Liu, Weicai Ye, Xintao Wang, Pengfei Wan, Kun Gai, Xiangyu Yue,
• Abstract要約: 任意の場所に配置された任意のユーザ指定のパッチからビデオが生成され、ビデオキャンバスに描画されるような、任意の時間的ビデオ補完のタスクを紹介する。 この柔軟性は、単一のパラダイムの下で、ファーストフレームのイメージ・トゥ・ビデオ、塗り絵、拡張、結束など、既存のコントロール可能なビデオ生成タスクを統一する。 In-Context Conditioning(ICC)パラダイムを、新しいパラメータをゼロとしたこのきめ細かい制御タスクに適応する、新しいフレームワークであるVideoCanvasを開発した。
• 参考スコア（独自算出の注目度）: 38.89828994130979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the task of arbitrary spatio-temporal video completion, where a video is generated from arbitrary, user-specified patches placed at any spatial location and timestamp, akin to painting on a video canvas. This flexible formulation naturally unifies many existing controllable video generation tasks--including first-frame image-to-video, inpainting, extension, and interpolation--under a single, cohesive paradigm. Realizing this vision, however, faces a fundamental obstacle in modern latent video diffusion models: the temporal ambiguity introduced by causal VAEs, where multiple pixel frames are compressed into a single latent representation, making precise frame-level conditioning structurally difficult. We address this challenge with VideoCanvas, a novel framework that adapts the In-Context Conditioning (ICC) paradigm to this fine-grained control task with zero new parameters. We propose a hybrid conditioning strategy that decouples spatial and temporal control: spatial placement is handled via zero-padding, while temporal alignment is achieved through Temporal RoPE Interpolation, which assigns each condition a continuous fractional position within the latent sequence. This resolves the VAE's temporal ambiguity and enables pixel-frame-aware control on a frozen backbone. To evaluate this new capability, we develop VideoCanvasBench, the first benchmark for arbitrary spatio-temporal video completion, covering both intra-scene fidelity and inter-scene creativity. Experiments demonstrate that VideoCanvas significantly outperforms existing conditioning paradigms, establishing a new state of the art in flexible and unified video generation.
• Abstract（参考訳）: 本研究では,任意の空間的位置とタイムスタンプに配置された任意のユーザ指定パッチからビデオが生成される任意の時空間ビデオ補完作業について紹介する。 このフレキシブルな定式化は、一フレームのイメージ・トゥ・ビデオ、インペインティング、拡張、補間を含む、既存のコントロール可能なビデオ生成タスクを、単一の凝集パラダイムの下で自然に統一する。 しかし、このビジョンを実現することは、現代の潜伏映像拡散モデルにおいて根本的な障害に直面している。因果的VAEによって導入された時間的曖昧さであり、複数のピクセルフレームが単一の潜伏表現に圧縮され、正確なフレームレベルの条件付けが構造的に困難になる。 In-Context Conditioning(ICC)パラダイムを、新しいパラメータをゼロとしたこのきめ細かい制御タスクに適応する、新しいフレームワークであるVideoCanvasで、この問題に対処する。 本研究では,空間配置をゼロパディングで処理し,時間的アライメントを時間的RoPE補間によって実現し,各条件を潜時列内の連続的な分数的位置を割り当てるハイブリッドコンディショニング戦略を提案する。 これにより、VAEの時間的曖昧さを解消し、凍結したバックボーン上でピクセルフレームを認識できる。 この機能を評価するために,任意の時空間ビデオ補完のための最初のベンチマークであるVideoCanvasBenchを開発し,シーン内忠実度とシーン間クリエイティビティの両方をカバーした。 実験により、VideoCanvasは既存のコンディショニングパラダイムを大幅に上回っており、フレキシブルで統一されたビデオ生成における新しい最先端技術を確立している。

関連論文リスト

• STOP: Integrated Spatial-Temporal Dynamic Prompting for Video Understanding [48.12128042470839]
  本稿では,STOP(Spatial-Temporal dynamic Prompting)モデルを提案する。 2つの相補的なモジュールで構成され、フレーム内の空間的プロンプトとフレーム間の時間的プロンプトである。 STOPは、最先端のメソッドに対して一貫して優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-03-20T09:16:20Z)
• Semantically Consistent Video Inpainting with Conditional Diffusion Models [16.42354856518832]
  本稿では,条件付きビデオ拡散モデルを用いた問題解決フレームワークを提案する。 我々は,コンテキストにおける重要な長距離依存関係をキャプチャする塗装特化サンプリングスキームを導入する。 不完全フレーム中の既知の画素を条件付けするための新しい手法を考案する。
  論文  参考訳（メタデータ） (2024-04-30T23:49:26Z)
• Explorative Inbetweening of Time and Space [46.77750028273578]
  与えられた開始フレームと終了フレームのみに基づいて映像生成を制御するために境界生成を導入する。 Time Reversal Fusionは、開始フレームと終了フレームに条件付けられた時間的に前方および後方にデノナイジングパスを融合する。 Time Reversal Fusionは、すべてのサブタスクにおける関連する作業よりも優れています。
  論文  参考訳（メタデータ） (2024-03-21T17:57:31Z)
• VidToMe: Video Token Merging for Zero-Shot Video Editing [100.79999871424931]
  本稿では,フレーム間で自己注意トークンをマージすることで,生成ビデオの時間的一貫性を高める新しい手法を提案する。 本手法は時間的コヒーレンスを改善し,自己アテンション計算におけるメモリ消費を削減する。
  論文  参考訳（メタデータ） (2023-12-17T09:05:56Z)
• LatentWarp: Consistent Diffusion Latents for Zero-Shot Video-to-Video Translation [21.815083817914843]
  我々はtextitLatentWarp というゼロショット動画翻訳フレームワークを提案する。 我々のアプローチは単純で、クエリトークンの時間的一貫性を制約するために、潜伏した空間にワープ操作を組み込む。 textitLatentWarpの時間的コヒーレンスによるビデオ間翻訳における優位性を示す実験結果を得た。
  論文  参考訳（メタデータ） (2023-11-01T08:02:57Z)
• Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
  本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。 我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
  論文  参考訳（メタデータ） (2023-06-13T17:52:23Z)
• Generating Long Videos of Dynamic Scenes [66.56925105992472]
  本稿では、物体の動きを再現する映像生成モデル、カメラ視点の変化、時間とともに現れる新しいコンテンツについて述べる。 よくある障害ケースは、コンテンツが時間的一貫性を提供する誘導バイアスに過度に依存するため、決して変化しないことです。
  論文  参考訳（メタデータ） (2022-06-07T16:29:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。