論文の概要: PAI-Studio: Cinematic Video Background Replacement with Camera-Aware Motion

• arxiv url: http://arxiv.org/abs/2606.01399v1
• Date: Sun, 31 May 2026 18:45:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.684079
• Title: PAI-Studio: Cinematic Video Background Replacement with Camera-Aware Motion
• Title（参考訳）: PAI-Studio:カメラを意識した映像背景のリプレース
• Authors: Heyuan Gao, Bangxun Tang, Yiren Song, Guian Fang, Zijian He, Jie Yang, Mike Zheng Shou,
• Abstract要約: 我々は,新しい参照条件付きビデオ合成タスクであるPAI-Studioを提案する。 前景の身元を保ちながら前景の動きに合わせて動的背景を生成する。 さらに、高品質な映画やオンラインビデオから得られた30Kスケールのデータセットを構築し、このタスクをサポートする。
• 参考スコア（独自算出の注目度）: 51.8637101384136
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present PAI-Studio, a new reference-conditioned video synthesis task that addresses a long-standing challenge in cinematic background replacement: generating dynamic backgrounds aligned with foreground motion while preserving foreground identity, matching reference scene appearance, and achieving globally consistent illumination with realistic foreground relighting. Existing open-source systems and commercial APIs cannot simultaneously ensure motion-consistent background generation, high-fidelity foreground relighting and foreground identity preservation, often resulting in static backgrounds, inconsistent boundaries, and noticeable compositing artifacts. To bridge this gap, we build upon a Diffusion Transformer video backbone and reformulate the problem as an in-context conditional generation task. Through bidirectional attention, our model jointly captures foreground dynamics and background reference information within a unified architecture. We further construct a 30K-scale dataset sourced from high-quality films and online videos to support this task. Extensive evaluations demonstrate that our method significantly outperforms existing open-source and commercial API solutions.
• Abstract（参考訳）: PAI-Studioは,前景のアイデンティティを保ちながら前景の動きに合わせて動的背景を生成すること,参照シーンの外観を整合させ,一貫した照明をリアルな前景のリライティングで達成すること,という,撮影背景の長期的課題に対処する新しい基準条件付きビデオ合成タスクである。 既存のオープンソースシステムと商用APIは、モーション一貫性のあるバックグラウンド生成、高忠実なフォアグラウンドリライト、フォアグラウンドID保存を同時に保証することはできない。 このギャップを埋めるために、Diffusion Transformerのビデオバックボーンを構築し、コンテキスト内条件生成タスクとして問題を再構成する。 両方向の注意を通して,我々のモデルは,統合アーキテクチャ内でのフォアグラウンドダイナミクスと背景参照情報を共同でキャプチャする。 さらに、高品質な映画やオンラインビデオから得られた30Kスケールのデータセットを構築し、このタスクをサポートする。 大規模な評価の結果,提案手法は既存のオープンソースおよび商用APIソリューションを著しく上回る結果となった。

関連論文リスト

• Sparkle: Realizing Lively Instruction-Guided Video Background Replacement via Decoupled Guidance [54.34473644733862]
  背景の置き換えは、映画制作や広告といったクリエイティブな応用の中心である。 背景の置き換えは、完全に新しい、時間的に一貫したシーンを必要とし、正確な前景と背景の相互作用を維持する。 Sparkleは5つのバックグラウンド変更テーマにまたがる140Kビデオペアのデータセットである。
  論文  参考訳（メタデータ） (2026-05-07T16:35:34Z)
• GenCompositor: Generative Video Compositing with Diffusion Transformer [68.00271033575736]
  伝統的なパイプラインは、労働力の集中と専門家の協力を必要とし、生産サイクルが長くなり、高い人的コストがかかる。 本課題は, 対象映像に対して, 前景映像の同一性や動作情報を対話的に注入することである。 実験により,本手法は生成ビデオ合成を効果的に実現し,忠実度と一貫性の既存のソリューションよりも優れることが示された。
  論文  参考訳（メタデータ） (2025-09-02T16:10:13Z)
• Frame In-N-Out: Unbounded Controllable Image-to-Video Generation [23.231729778050873]
  我々は、フレームインとフレームアウトとして知られる、一般的には使われていないが探索されていない撮影技術に焦点を当てる。 本稿では、半自動でキュレートされた新しいデータセット、効率的なID保存型モーションコントロール可能なビデオ拡散トランスフォーマアーキテクチャ、およびこのタスクを対象とする包括的な評価プロトコルを紹介する。
  論文  参考訳（メタデータ） (2025-05-27T17:56:07Z)
• VideoPainter: Any-length Video Inpainting and Editing with Plug-and-Play Context Control [47.34885131252508]
  ビデオのインペイントは、腐敗したビデオコンテンツを復元することを目的としている。 マスク付きビデオを処理するための新しいデュアルストリームパラダイムVideoPainterを提案する。 また,任意の長さの映像を描ける新しいターゲット領域ID再サンプリング手法も導入する。
  論文  参考訳（メタデータ） (2025-03-07T17:59:46Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Exploring Intra- and Inter-Video Relation for Surgical Semantic Scene Segmentation [58.74791043631219]
  セグメンテーション性能を高めるために,映像内および映像間関係を補完する新しいフレームワークSTswinCLを提案する。 本研究では,EndoVis18 ChallengeとCaDISデータセットを含む2つの公開手術ビデオベンチマークに対するアプローチを広く検証する。 実験により,従来の最先端手法を一貫して超越した提案手法の有望な性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T05:52:23Z)
• V3GAN: Decomposing Background, Foreground and Motion for Video Generation [4.791233143264228]
  本研究では,映像生成タスクを前景,背景,動きの合成に分解する手法を提案する。 前景と背景は共に外観を記述するが、動きは前景が時間とともに動画の中でどのように動くかを特定する。 本稿では,新しい3分岐生成対向ネットワークであるV3GANを提案する。
  論文  参考訳（メタデータ） (2022-03-26T13:17:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。