論文の概要: GenCompositor: Generative Video Compositing with Diffusion Transformer

• arxiv url: http://arxiv.org/abs/2509.02460v1
• Date: Tue, 02 Sep 2025 16:10:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:04.095565
• Title: GenCompositor: Generative Video Compositing with Diffusion Transformer
• Title（参考訳）: GenCompositor: 拡散変換器による生成ビデオ合成
• Authors: Shuzhou Yang, Xiaoyu Li, Xiaodong Cun, Guangzhi Wang, Lingen Li, Ying Shan, Jian Zhang,
• Abstract要約: 伝統的なパイプラインは、労働力の集中と専門家の協力を必要とし、生産サイクルが長くなり、高い人的コストがかかる。 本課題は, 対象映像に対して, 前景映像の同一性や動作情報を対話的に注入することである。 実験により,本手法は生成ビデオ合成を効果的に実現し,忠実度と一貫性の既存のソリューションよりも優れることが示された。
• 参考スコア（独自算出の注目度）: 68.00271033575736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video compositing combines live-action footage to create video production, serving as a crucial technique in video creation and film production. Traditional pipelines require intensive labor efforts and expert collaboration, resulting in lengthy production cycles and high manpower costs. To address this issue, we automate this process with generative models, called generative video compositing. This new task strives to adaptively inject identity and motion information of foreground video to the target video in an interactive manner, allowing users to customize the size, motion trajectory, and other attributes of the dynamic elements added in final video. Specifically, we designed a novel Diffusion Transformer (DiT) pipeline based on its intrinsic properties. To maintain consistency of the target video before and after editing, we revised a light-weight DiT-based background preservation branch with masked token injection. As to inherit dynamic elements from other sources, a DiT fusion block is proposed using full self-attention, along with a simple yet effective foreground augmentation for training. Besides, for fusing background and foreground videos with different layouts based on user control, we developed a novel position embedding, named Extended Rotary Position Embedding (ERoPE). Finally, we curated a dataset comprising 61K sets of videos for our new task, called VideoComp. This data includes complete dynamic elements and high-quality target videos. Experiments demonstrate that our method effectively realizes generative video compositing, outperforming existing possible solutions in fidelity and consistency.
• Abstract（参考訳）: ビデオ合成は、ライブアクション映像を組み合わせてビデオ制作を行い、ビデオ制作と映画制作において重要な技術となる。 伝統的なパイプラインは、労働力の集中と専門家の協力を必要とし、生産サイクルが長くなり、高い人的コストがかかる。 この問題に対処するため、生成ビデオ合成と呼ばれる生成モデルを用いてこのプロセスを自動化する。 この新たなタスクは、ユーザーが最終ビデオに追加される動的要素のサイズ、運動軌跡、その他の属性をカスタマイズできるように、フォアグラウンドビデオのアイデンティティとモーション情報をインタラクティブにターゲットビデオに適応的に注入することを目指している。 具体的には,Diffusion Transformer (DiT) パイプラインを内在特性に基づいて設計した。 編集前後の映像の整合性を維持するため,マスク付きトークン注入による軽量なDiTベースの背景保存ブランチを改訂した。 他のソースからの動的要素を継承するために、DiT融合ブロックを完全自己アテンションで提案し、トレーニングのために単純だが効果的な前景拡張を行う。 また,ユーザ制御に基づく異なるレイアウトの背景映像と前景映像を融合させるため,拡張回転位置埋め込み (ERoPE) と呼ばれる新しい位置埋め込みを開発した。 最後に、新しいタスクであるVideoCompという、61Kの動画からなるデータセットをキュレートした。 このデータには、完全な動的要素と高品質なターゲットビデオが含まれている。 実験により,本手法は生成ビデオ合成を効果的に実現し,忠実度と一貫性の既存のソリューションよりも優れることが示された。

関連論文リスト

• VideoPainter: Any-length Video Inpainting and Editing with Plug-and-Play Context Control [47.34885131252508]
  ビデオのインペイントは、腐敗したビデオコンテンツを復元することを目的としている。 マスク付きビデオを処理するための新しいデュアルストリームパラダイムVideoPainterを提案する。 また,任意の長さの映像を描ける新しいターゲット領域ID再サンプリング手法も導入する。
  論文  参考訳（メタデータ） (2025-03-07T17:59:46Z)
• Video Diffusion Transformers are In-Context Learners [31.736838809714726]
  本稿では,ビデオ拡散変換器のコンテキスト内機能を実現するためのソリューションについて検討する。 本稿では,テキスト内生成を利用するための簡単なパイプラインを提案する: (textbfii$) ビデオは,空間的あるいは時間的次元に沿って行われる。 当社のフレームワークは,研究コミュニティにとって貴重なツールであり,製品レベルの制御可能なビデオ生成システムを進化させる上で重要な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-14T10:39:55Z)
• Anchored Diffusion for Video Face Reenactment [17.343307538702238]
  比較的長くシームレスなビデオを合成するための新しい手法であるAnchored Diffusionを紹介する。 我々は、ランダムな非一様時間間隔でビデオシーケンスでモデルを訓練し、外部ガイダンスを介して時間情報を組み込む。 推論の際には、トランスフォーマーアーキテクチャを利用して拡散プロセスを修正し、共通のフレームに固定された一様でないシーケンスのバッチを生成する。
  論文  参考訳（メタデータ） (2024-07-21T13:14:17Z)
• MagDiff: Multi-Alignment Diffusion for High-Fidelity Video Generation and Editing [90.06041718086317]
  我々は、高忠実度ビデオ生成と編集の両方のタスクに対して、MagDiffと呼ばれる統合多重配位拡散を提案する。 提案したMagDiffは、主観駆動アライメント、適応プロンプトアライメント、高忠実アライメントを含む3種類のアライメントを導入している。
  論文  参考訳（メタデータ） (2023-11-29T03:36:07Z)
• SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction [93.26613503521664]
  本稿では、生成遷移と予測に焦点をあてた、短時間から長期のビデオ拡散モデルSEINEを提案する。 テキスト記述に基づく遷移を自動的に生成するランダムマスクビデオ拡散モデルを提案する。 我々のモデルは、コヒーレンスと視覚的品質を保証するトランジションビデオを生成する。
  論文  参考訳（メタデータ） (2023-10-31T17:58:17Z)
• VideoDirectorGPT: Consistent Multi-scene Video Generation via LLM-Guided Planning [62.51232333352754]
  VideoDirectorGPTは、一貫したマルチシーンビデオ生成のための新しいフレームワークである。 提案手法は,複数シーンのビデオ生成におけるレイアウトと移動制御を大幅に改善する。
  論文  参考訳（メタデータ） (2023-09-26T17:36:26Z)
• A Good Image Generator Is What You Need for High-Resolution Video Synthesis [73.82857768949651]
  現代画像生成装置を用いて高解像度映像のレンダリングを行うフレームワークを提案する。 我々は,映像合成問題を,予め訓練された固定された画像生成装置の潜時空間における軌跡の発見とみなす。 本稿では,コンテンツや動きが絡み合っている所望の軌跡を検出するモーションジェネレータを提案する。
  論文  参考訳（メタデータ） (2021-04-30T15:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。