論文の概要: ReXMo: End-to-End Video Character Replacement with Expression and Motion Preservation
- arxiv url: http://arxiv.org/abs/2611.04633v1
- Date: Tue, 03 Nov 2026 10:22:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-09 14:23:33.183389
- Title: ReXMo: End-to-End Video Character Replacement with Expression and Motion Preservation
- Title（参考訳）: ReXMo: 表情と動きを保存したエンド・ツー・エンドのビデオキャラクタのリプレース
- Abstract要約: ビデオキャラクタの置き換えは、表情、動き、シーンダイナミクスを保ちながらアクターを置き換えることを目的としている。
我々は、単一、複数、選択的な文字置換シナリオをサポートするエンドツーエンドフレームワークであるReXMoを提案する。
- 参考スコア（独自算出の注目度）: 6.611963124420118
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video character replacement aims to replace actors while preserving facial expressions, motions, and scene dynamics. Existing methods typically rely on masked generation with pose guidance, limiting fine-grained expression and motion preservation in complex scenes. We propose ReXMo, an end-to-end framework that supports single-, multi-, and selective character replacement scenarios. ReXMo introduces paired triplet supervision, where synthesized driving videos and original videos share identical performances but different identities, enabling scalable training through synthetic data generation. An In-Context Diffusion Transformer learns identity transformation by jointly conditioning on driving videos, reference identities, and text prompts, while an Expression Enhancement Adapter improves facial expression preservation in multi-person scenes. Extensive experiments demonstrate that ReXMo outperforms existing methods in identity fidelity, motion consistency, expression preservation, and visual quality. Our dataset and code will be publicly released.
- Abstract（参考訳）: ビデオキャラクタの置き換えは、表情、動き、シーンダイナミクスを保ちながらアクターを置き換えることを目的としている。
既存の手法は通常、複雑なシーンにおける微粒な表現や動きの保存を制限し、ポーズガイダンスによるマスク付き世代に依存している。
我々は、単一、複数、選択的な文字置換シナリオをサポートするエンドツーエンドフレームワークであるReXMoを提案する。
ReXMoは、合成されたドライビングビデオとオリジナルビデオが同一のパフォーマンスと異なるアイデンティティを共有することで、合成データ生成によるスケーラブルなトレーニングを可能にする、ペア三重項監視を導入している。
In-Context Diffusion Transformerは、運転ビデオ、参照ID、テキストプロンプトを共同で条件付けすることでアイデンティティ変換を学習し、Expression Enhancement Adapterは、多人数シーンにおける表情の保存を改善する。
大規模な実験により、ReXMoは、アイデンティティの忠実さ、動きの一貫性、表現の保存、視覚的品質において、既存の手法よりも優れていることが示された。
データセットとコードは公開されます。
関連論文リスト
- Vorch-IR: Long-Form Unified Multimodal Identity Replacement Video Generation [28.493796603648175]
Vorch-IRは、シングルモデルとデュアルパーソンのアイデンティティ置換をサポートする統一フレームワークで、オプションのバックグラウンド置換を単一のモデルでサポートする。
LTX2上に構築されたVorch-IRは、駆動ビデオ、インデックス付き参照画像、テキスト編集命令を共同で行う。
自動測定とペアワイズ人間評価を用いた実験は, 多様なシナリオにおける強いアイデンティティ保存, 動きの忠実度, 時間的コヒーレンスを示す。
論文 参考訳（メタデータ） (2026-08-06T06:46:35Z) - GroupVideo: Multi-Identity Customized Text-to-Video Generation [53.89036635198158]
GroupVideoは、複数の個人写真を利用して、アイデンティティをカスタマイズしたビデオを生成する新しいフレームワークである。
GroupVideoにはマルチモーダルなアイデンティティアライメントが組み込まれており、セマンティックアライメントは動きの自然性を高めるセマンティックな知覚を導入している。
マルチIDビデオデータセットが不足しているため、我々は20,000のビデオの包括的な高品質なデータセットをキュレートした。
論文 参考訳（メタデータ） (2026-07-23T08:09:04Z) - Soap2Soap: Long Cinematic Video Remaking via Multi-Agent Collaboration [61.98029663481308]
Soap2SoapはDualBridgeメカニズムを通じて長期の視覚的一貫性を強制するマルチエージェントフレームワークである。
クローズドループ検証エージェントは、識別、安定性、アライメントを監査し、選択的再生を誘導する。
論文 参考訳（メタデータ） (2026-05-17T12:38:21Z) - Gloria: Consistent Character Video Generation via Content Anchors [63.7455328319917]
本稿では,アンカーフレームのコンパクトな集合を通して,文字の視覚特性を表現することを提案する。
この設計は、一貫性のための安定した参照を提供するが、参照ベースのビデオ生成はコピーパッティングとマルチ参照競合の課題に直面している。
実験により,提案手法は10分を超える高品質なキャラクタビデオを生成し,既存の手法を超越して,ビュー間の表現的アイデンティティと外観整合性を実現する。
論文 参考訳（メタデータ） (2026-03-31T16:06:16Z) - Slot-ID: Identity-Preserving Video Generation from Reference Videos via Slot-Based Temporal Identity Encoding [30.62635724018122]
拡散変圧器ビデオジェネレータの同一条件の変種について述べる。
短いクリップでは、ポーズや照明を横切る笑顔の作り方など、主題固有のパターンが明らかになっている。
このアプローチは、大きなポーズの変化と表現力のある顔行動の下で、恒常的にアイデンティティの保持を改善する。
論文 参考訳（メタデータ） (2026-01-04T03:41:55Z) - DirectSwap: Mask-Free Cross-Identity Training and Benchmarking for Expression-Consistent Video Head Swapping [58.2549561389375]
ビデオヘッドスワップは、顔のアイデンティティ、頭の形、ヘアスタイルなど、ビデオ対象の頭部全体を参照画像に置き換えることを目的としている。
地対交換データがないため、従来の手法はビデオ内の同一人物のクロスフレームペアをトレーニングする。
我々は、画像U-Netをビデオ拡散モデルに拡張する、マスクのない直接ビデオヘッドスワッピングフレームワークであるDirectSwapを提案する。
論文 参考訳（メタデータ） (2025-12-10T08:31:28Z) - ContextAnyone: Context-Aware Diffusion for Character-Consistent Text-to-Video Generation [36.29956463871403]
テキスト・ツー・ビデオ(T2V)生成は急速に進歩しているが、シーン間で一貫した文字のアイデンティティを維持することは大きな課題である。
テキストと単一の参照画像から文字一貫性のある映像を生成するコンテキスト対応拡散フレームワークである textbfContextAnyone を提案する。
提案手法は,参照画像を共同で再構成し,新しいビデオフレームを生成する。
論文 参考訳（メタデータ） (2025-12-08T09:12:18Z) - Taming Transformer for Emotion-Controllable Talking Face Generation [61.835295250047196]
本稿では,感情制御可能な発話顔生成タスクを個別に行うための新しい手法を提案する。
具体的には、2つの事前学習戦略を用いて、音声を独立したコンポーネントに分解し、映像を視覚トークンの組み合わせに定量化する。
我々は、複数の感情的オーディオで調整された映像の感情を制御するMEADデータセット上で実験を行う。
論文 参考訳（メタデータ） (2025-08-20T02:16:52Z) - Identity-Preserving Talking Face Generation with Landmark and Appearance
Priors [106.79923577700345]
既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。
本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。
提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
論文 参考訳（メタデータ） (2023-05-15T01:31:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。