論文の概要: FreeCHROMA: Generative Chroma Keying from Unaligned Background References

• arxiv url: http://arxiv.org/abs/2610.14445v1
• Date: Sat, 10 Oct 2026 01:21:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 21:30:53.672711
• Title: FreeCHROMA: Generative Chroma Keying from Unaligned Background References
• Title（参考訳）: FreeCHROMA: アンアラインな背景参照から生成するクロマキー
• Abstract要約: 生成ビデオ合成のためのパラメータ効率のよい手法で事前学習したビデオ拡散モデルに適応するFreeCHROMAを提案する。 このモデルは、フォアグラウンドを参照された環境に統合し、コヒーレントな背景を生成しながら、フォアグラウンドのアイデンティティ、動き、微妙な視覚的詳細を保存する。
• 参考スコア（独自算出の注目度）: 38.61170626552762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In film production, chroma keying composites an approved foreground performance into a new environment, but conventional workflows require coordinated background plates and dedicated harmonization. Recent generative methods often require pre-aligned backgrounds, focus on background-conditioned foreground relighting, or represent the environment only through an edited first frame. These restrictions limit background selection, scene composition, and camera motion while adding preparation or editing effort. We present FreeCHROMA, which adapts a pretrained video diffusion model in a parameter-efficient manner for generative video compositing from one to three unaligned background references. The model integrates the foreground into the referenced environment, preserving foreground identity, motion, and fine visual details while generating a spatiotemporally coherent background. Foreground-background harmonization occurs within the same generation process, without a separate relighting stage. Optional text instructions help disambiguate complex spatial relationships and camera behavior. To train the model, we construct pseudo-paired data from readily available real monocular videos through foreground-background separation and augmentation with existing foundation models. The original videos serve as training targets, while automated processing and quality verification enable scalable data construction. Across reference fidelity, foreground preservation, scene integration, harmonization, and overall video quality, FreeCHROMA consistently outperforms recent compositing and conditional video-generation baselines, with particularly clear gains under camera motion. FreeCHROMA relaxes the constraints of existing tools to enable end-to-end generative chroma keying from unaligned inputs, with exploratory experiments demonstrating its potential in robotics.
• Abstract（参考訳）: フィルム製造において、クロマキーリング複合材は、承認された前景性能を新しい環境に導入するが、従来のワークフローでは、調整された背景板と専用の調和が必要である。 最近の生成手法では、事前に整列された背景、背景条件付き前景のリライティング、あるいは編集された第1フレームを通してのみ環境を表現することが必要な場合が多い。 これらの制限は、背景選択、シーン構成、カメラの動きを制限し、準備や編集作業を追加する。 本稿では,1～3つの非整合背景参照から合成した生成ビデオに対して,事前学習したビデオ拡散モデルをパラメータ効率よく適応させるFreeCHROMAを提案する。 モデルは、前景を参照環境に統合し、時空間的に一貫性のある背景を生成しながら、前景のアイデンティティ、動き、細かな視覚的詳細を保存する。 前景と後景の調和は、別段のリライティングステージなしで同じ生成プロセス内で起こる。 オプションのテキスト命令は、複雑な空間的関係とカメラの振る舞いを曖昧にするのに役立ちます。 このモデルをトレーニングするために、既存の基礎モデルによる前景と背景の分離と拡張により、利用可能な実モノクラービデオから擬似ペアデータを構築する。 オリジナルのビデオはトレーニングターゲットとして機能し、自動処理と品質検証はスケーラブルなデータ構築を可能にする。 参照の忠実さ、前景の保存、シーンの統合、ハーモニゼーション、全体的なビデオ品質など、FreeCHROMAは最近の合成と条件付きビデオ生成のベースラインを一貫して上回り、特にカメラモーションでは顕著に向上している。 FreeCHROMAは既存のツールの制約を緩和し、不整合入力から終端から終端まで生成するクロマキーを可能にする。

関連論文リスト

• PAI-Studio: Cinematic Video Background Replacement with Camera-Aware Motion [51.8637101384136]
  我々は,新しい参照条件付きビデオ合成タスクであるPAI-Studioを提案する。 前景の身元を保ちながら前景の動きに合わせて動的背景を生成する。 さらに、高品質な映画やオンラインビデオから得られた30Kスケールのデータセットを構築し、このタスクをサポートする。
  論文  参考訳（メタデータ） (2026-05-31T18:45:11Z)
• UniE2F: A Unified Diffusion Framework for Event-to-Frame Reconstruction with Video Foundation Models [67.24086328473437]
  イベントカメラは絶対強度よりも相対強度の変化を記録できる。 結果として得られたデータストリームは、空間情報と静的テクスチャの詳細が著しく失われることに悩まされる。 本稿では、事前学習したビデオ拡散モデルを用いて、スパースイベントデータから高忠実度ビデオフレームを再構成することで、この制限に対処する。
  論文  参考訳（メタデータ） (2026-02-22T14:06:49Z)
• PISCO: Precise Video Instance Insertion with Sparse Control [20.322731348056543]
  プロのAI支援映画製作では、精密で標的とした修正を行うことが不可欠である。 この移行の要点は、既存のビデオに特定のインスタンスを挿入する必要があるビデオインスタンス挿入である。 本稿では,任意のスパース制御が可能なビデオ挿入インスタンスのPISCOを提案する。
  論文  参考訳（メタデータ） (2026-02-09T05:15:39Z)
• Latent-Reframe: Enabling Camera Control for Video Diffusion Model without Training [51.851390459940646]
  我々は、微調整なしで事前訓練されたビデオ拡散モデルでカメラ制御が可能なLatent-Reframeを紹介した。 Latent-Reframeはサンプリング段階で動作し、オリジナルのモデル分布を維持しながら効率を維持する。 当社のアプローチでは,ビデオフレームの潜在コードを再設計し,タイムアウェアな点雲を通して入力カメラ軌跡と整合する。
  論文  参考訳（メタデータ） (2024-12-08T18:59:54Z)
• TKG-DM: Training-free Chroma Key Content Generation Diffusion Model [9.939293311550655]
  トレーニングフリークロマキーコンテンツ生成拡散モデル(TKG-DM) 学習自由クロマキーコンテンツ生成拡散モデル(TKG-DM)を提案する。 提案手法は、制御された背景生成のための初期雑音における色相の操作を初めて検討するものである。
  論文  参考訳（メタデータ） (2024-11-23T15:07:15Z)
• Training-Free Semantic Video Composition via Pre-trained Diffusion Model [96.0168609879295]
  現在のアプローチは、主に前景の色と照明を調整したビデオで訓練されており、表面的な調整以上の深い意味の相違に対処するのに苦労している。 本研究では,事前知識を付加した事前学習拡散モデルを用いた学習自由パイプラインを提案する。 実験の結果,我々のパイプラインは出力の視覚的調和とフレーム間のコヒーレンスを確実にすることがわかった。
  論文  参考訳（メタデータ） (2024-01-17T13:07:22Z)
• Video Demoireing with Relation-Based Temporal Consistency [68.20281109859998]
  カラー歪みのように見えるモアレパターンは、デジタルカメラでスクリーンを撮影する際に、画像と映像の画質を著しく劣化させる。 我々は、このような望ましくないモアレパターンをビデオで除去する方法を研究している。
  論文  参考訳（メタデータ） (2022-04-06T17:45:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。