論文の概要: PAI-Actor: Cinematic Multi-Character Replacement in Dynamic Scenes
- arxiv url: http://arxiv.org/abs/2609.05918v1
- Date: Sat, 05 Sep 2026 06:27:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 12:15:06.116877
- Title: PAI-Actor: Cinematic Multi-Character Replacement in Dynamic Scenes
- Title（参考訳）: PAIアクター:ダイナミックシーンにおけるシネマティックマルチキャラクタ交換
- Abstract要約: PAI-Actorは動的映画のシーンにおける文字置換のためのシネマティック・マルチキャラクタ・アニメーション・フレームワークである。
私たちのゴールは、オリジナルのシーンダイナミックス、カメラモーション、バックグラウンドコンテンツを保存しながら、実際のビデオクリップ内の複数のキャラクターを置き換え、アニメーションすることです。
実験の結果,PAI-Actorは高忠実度マルチキャラクタアニメーションを実現し,シーンの整合性,映像品質,より効率的な長文生成を実現している。
- 参考スコア（独自算出の注目度）: 51.8637101384136
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present PAI-Actor, a cinematic multi-character animation framework for character replacement in dynamic movie scenes. Unlike conventional animation systems that mainly drive a single static image or a single subject, our goal is to replace and animate multiple characters within real video clips while preserving the original scene dynamics, camera motion, and background content. This setting is particularly challenging because the generated characters must remain consistent with the source performance in motion and interaction, while also matching the surrounding background in lighting, shadow, composition, and overall cinematic appearance. To address this, we formulate multi-character animation as a structure-guided human recovery problem and build a movie-driven training pipeline from high-quality film data. Furthermore, to support practical cinematic production, we introduce a bidirectional-to-autoregressive distillation framework: we first train a bidirectional diffusion transformer for high-quality short-clip generation at 1080P resolution, and then distill it into an autoregressive video-to-video model for efficient inference and longer video generation. Experiments show that PAI-Actor enables high-fidelity multi-character animation with strong scene consistency, cinematic visual quality, and efficient long-form generation.
- Abstract（参考訳）: PAI-Actorは動的映画のシーンにおける文字置換のためのシネマティック・マルチキャラクタ・アニメーション・フレームワークである。
1つの静止画や1つの主題を主に駆動する従来のアニメーションシステムとは異なり、われわれのゴールは、オリジナルシーンのダイナミックス、カメラモーション、バックグラウンドコンテンツを保存しながら、実際のビデオクリップ内の複数のキャラクターを置き換え、アニメーションすることである。
この設定は特に困難であり、生成した文字は動きや相互作用における元のパフォーマンスと一致し続けなければならない一方で、照明、影、構成、全体的な映画的外観の周囲の背景と一致しなければならない。
そこで我々は,マルチキャラクタアニメーションを構造誘導型ヒューマンリカバリ問題として定式化し,高品質なフィルムデータから映画駆動のトレーニングパイプラインを構築する。
さらに,本研究では,高画質の短クリップ生成用双方向拡散トランスフォーマを1080P解像度でトレーニングし,効率的な推論と長ビデオ生成のための自己回帰ビデオ・ビデオモデルに蒸留する,双方向・自己回帰型蒸留フレームワークを導入する。
実験の結果,PAI-Actorは高忠実度マルチキャラクタアニメーションを実現し,シーンの整合性,映像品質,より効率的な長文生成を実現している。
関連論文リスト
- Soap2Soap: Long Cinematic Video Remaking via Multi-Agent Collaboration [61.98029663481308]
Soap2SoapはDualBridgeメカニズムを通じて長期の視覚的一貫性を強制するマルチエージェントフレームワークである。
クローズドループ検証エージェントは、識別、安定性、アライメントを監査し、選択的再生を誘導する。
論文 参考訳（メタデータ） (2026-05-17T12:38:21Z) - MVAnimate: Enhancing Character Animation with Multi-View Optimization [55.4217617472079]
MVAnimateは,マルチビュー先行情報に基づく動的図形の2次元情報と3次元情報の両方を合成する新しいフレームワークである。
提案手法は,複数ビュー先行情報を利用して時間的一貫性と空間的整合性のあるアニメーション出力を生成する。
論文 参考訳（メタデータ） (2026-02-09T14:55:21Z) - CineScene: Implicit 3D as Effective Scene Representation for Cinematic Video Generation [65.03946626081036]
映像生成に暗黙的な3D認識シーン表現を活用するフレームワークであるCineSceneを提案する。
CineSceneは、シーン一貫性のある映像生成において最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-02-06T18:59:24Z) - Wan-S2V: Audio-Driven Cinematic Video Generation [53.59046547320306]
音声駆動キャラクタアニメーションのための最新技術SOTA(State-of-the-art)手法は、音声と歌唱を含むシナリオに対して有望な性能を示す。
We propose a audio-driven model, we referred to Wan-S2V, built on Wan。
論文 参考訳（メタデータ） (2025-08-26T02:51:31Z) - Animate-X++: Universal Character Image Animation with Dynamic Backgrounds [32.04255747303296]
Animate-X++は、擬人化文字を含む様々な文字タイプ向けのDiTに基づく普遍的なアニメーションフレームワークである。
動作表現を強化するために,暗黙的かつ明示的な方法で動画から包括的な動作パターンをキャプチャするPose Indicatorを導入する。
第2の課題として、アニメーションとTI2Vタスクを共同でトレーニングするマルチタスクトレーニング戦略を導入する。
論文 参考訳（メタデータ） (2025-08-13T03:11:28Z) - FairyGen: Storied Cartoon Video from a Single Child-Drawn Character [15.701180508477679]
本研究では,一人の子どもの絵から物語駆動のマンガ映像を自動生成するFairyGenを提案する。
以前のストーリーテリング方法とは異なり、FairyGenはスタイル化された背景生成から文字モデリングを明示的に切り離している。
我々のシステムは、スタイリスティックに忠実で、物語的に構造化された自然運動のアニメーションを生成する。
論文 参考訳（メタデータ） (2025-06-26T13:58:16Z) - DreamDance: Animating Character Art via Inpainting Stable Gaussian Worlds [64.53681498600065]
ドリームダンス(DreamDance)は、安定的で一貫したキャラクタと、正確なカメラ軌跡を条件としたシーンの動きを生成できるアニメーションフレームワークである。
我々は、背景品質を高めつつ、動的キャラクタをシーンビデオに注入する、ポーズ対応ビデオ塗装モデルを訓練する。
論文 参考訳（メタデータ） (2025-05-30T15:54:34Z) - SkyReels-A1: Expressive Portrait Animation in Video Diffusion Transformers [30.06494915665044]
ポートレート画像アニメーションを容易にするために,ビデオ拡散トランスフォーマを基盤としたSkyReels-A1を提案する。
SkyReels-A1は、ビデオDiTの強力な生成能力を活用し、顔の動き伝達精度、アイデンティティ保持、時間的コヒーレンスを向上させる。
仮想アバター、リモート通信、デジタルメディア生成などの領域に適用可能である。
論文 参考訳（メタデータ） (2025-02-15T16:08:40Z) - One-Shot Learning Meets Depth Diffusion in Multi-Object Videos [0.0]
本稿では,一対のテキスト・ビデオから一対のコヒーレント・多様な映像を生成可能な,新しい深度条件付き手法を提案する。
提案手法は,従来設計した空間的・時間的注意機構を用いて,事前学習したモデルを用いて連続的な動きを捉える。
推論中、ビデオ生成のための構造的ガイダンスを提供するためにDDIMインバージョンを使用する。
論文 参考訳（メタデータ） (2024-08-29T16:58:10Z) - Towards Multiple Character Image Animation Through Enhancing Implicit Decoupling [77.08568533331206]
文字画像アニメーションのための新しい多条件ガイドフレームワークを提案する。
我々は、モデルが暗黙的に疎結合する能力を高めるために、よく設計された入力モジュールをいくつか採用する。
本手法は,特に複雑な背景と複数の文字のシナリオにおいて,高品質なキャラクタアニメーションの生成に優れる。
論文 参考訳（メタデータ） (2024-06-05T08:03:18Z) - AniClipart: Clipart Animation with Text-to-Video Priors [28.76809141136148]
本稿では,静的アニメーションをテキストからビデオへの誘導による高品質なアニメーションに変換する計算システムAniClipartを紹介する。
As-Rigid-As-Possible(ARAP)形状の変形とレンダリングの差別化により、AniClipartは剛性を維持しながらエンドツーエンドで最適化できる。
論文 参考訳（メタデータ） (2024-04-18T17:24:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。