論文の概要: MoCA: Identity-Preserving Text-to-Video Generation via Mixture of Cross Attention
- arxiv url: http://arxiv.org/abs/2508.03034v2
- Date: Wed, 13 Aug 2025 07:25:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-14 14:06:00.539587
- Title: MoCA: Identity-Preserving Text-to-Video Generation via Mixture of Cross Attention
- Title（参考訳）: MoCA:クロスアテンションの混合によるアイデンティティ保存型テキスト・ビデオ生成
- Authors: Qi Xie, Yongjia Ma, Donglin Di, Xuehao Gao, Xun Yang,
- Abstract要約: MoCA は Diffusion Transformer (DiT) のバックボーン上に構築されたビデオ拡散モデルである。
我々のフレームワークは、各DiTブロックにMoCA層を埋め込むことで、フレーム間のID整合性を改善する。
また、Latent Video Perceptual Lossを組み込んで、ビデオフレーム間のアイデンティティの一貫性と細かな詳細性を高める。
- 参考スコア（独自算出の注目度）: 20.494388126869424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Achieving ID-preserving text-to-video (T2V) generation remains challenging despite recent advances in diffusion-based models. Existing approaches often fail to capture fine-grained facial dynamics or maintain temporal identity coherence. To address these limitations, we propose MoCA, a novel Video Diffusion Model built on a Diffusion Transformer (DiT) backbone, incorporating a Mixture of Cross-Attention mechanism inspired by the Mixture-of-Experts paradigm. Our framework improves inter-frame identity consistency by embedding MoCA layers into each DiT block, where Hierarchical Temporal Pooling captures identity features over varying timescales, and Temporal-Aware Cross-Attention Experts dynamically model spatiotemporal relationships. We further incorporate a Latent Video Perceptual Loss to enhance identity coherence and fine-grained details across video frames. To train this model, we collect CelebIPVid, a dataset of 10,000 high-resolution videos from 1,000 diverse individuals, promoting cross-ethnicity generalization. Extensive experiments on CelebIPVid show that MoCA outperforms existing T2V methods by over 5% across Face similarity.
- Abstract（参考訳）: 近年の拡散モデルの発展にもかかわらず,ID保存型テキスト・ツー・ビデオ(T2V)の生成は困難である。
既存のアプローチはしばしば、きめ細かい顔の動きを捉えたり、時間的アイデンティティの一貫性を維持するのに失敗する。
これらの制約に対処するために,拡散変換器(DiT)のバックボーン上に構築された新しいビデオ拡散モデルであるMoCAを提案し,Mixture-of-Expertsパラダイムにインスパイアされたクロスアテンション機構を取り入れた。
本フレームワークは,各DiTブロックにMoCA層を埋め込むことにより,フレーム間アイデンティティの整合性を改善する。
さらに、ビデオフレーム間のアイデンティティのコヒーレンスときめ細かな詳細性を高めるために、ラテントビデオ知覚損失を組み込む。
このモデルをトレーニングするために、1,000人の多様な個人から1万件の高解像度ビデオのデータセットであるCelebIPVidを収集し、クロスエスニシティの一般化を促進する。
CelebIPVidの大規模な実験は、MoCAが既存のT2V法を顔の類似性で5%以上上回っていることを示している。
関連論文リスト
- LoViC: Efficient Long Video Generation with Context Compression [68.22069741704158]
百万単位のオープンドメインビデオに基づいてトレーニングされたDiTベースのフレームワークであるLoViCを紹介する。
当社のアプローチの核心はFlexFormerです。ビデオとテキストを統合された潜在表現に共同で圧縮する表現型オートエンコーダです。
論文 参考訳（メタデータ） (2025-07-17T09:46:43Z) - Long-Term TalkingFace Generation via Motion-Prior Conditional Diffusion Model [64.11605839142348]
textbfMotion-priors textbfConditional textbfDiffusion textbfModel(textbfMCDM)を導入する。
textbfTalkingFace-Wildデータセットもリリースしています。
論文 参考訳（メタデータ） (2025-02-13T17:50:23Z) - VividFace: A Diffusion-Based Hybrid Framework for High-Fidelity Video Face Swapping [43.30061680192465]
ビデオ・フェイス・スワップに特化して設計された初めての拡散型フレームワークを提案する。
提案手法は,VidFaceVAEと組み合わせた特殊設計拡散モデルである。
本フレームワークは,従来の手法と比較して,アイデンティティの保存,時間的整合性,視覚的品質において優れた性能を発揮する。
論文 参考訳（メタデータ） (2024-12-15T18:58:32Z) - ACDiT: Interpolating Autoregressive Conditional Modeling and Diffusion Transformer [95.80384464922147]
ACDiTはブロックワイド条件拡散変換器である。
トークン単位の自己回帰とフルシーケンス拡散のフレキシブルな関係を提供する。
本稿では,映像生成タスクにおける自己回帰ベースラインの中で,ACDiTが最良であることを示す。
論文 参考訳（メタデータ） (2024-12-10T18:13:20Z) - HiFiVFS: High Fidelity Video Face Swapping [35.49571526968986]
Face swappingは、ソースからのIDとターゲットからの属性を組み合わせた結果を生成することを目的としている。
安定ビデオ拡散の強い生成能力と時間的先行を生かした高忠実度ビデオ顔交換フレームワークを提案する。
本手法は,映像面スワップにおける最新技術(SOTA)を質的かつ定量的に達成する。
論文 参考訳（メタデータ） (2024-11-27T12:30:24Z) - Redefining Temporal Modeling in Video Diffusion: The Vectorized Timestep Approach [29.753974393652356]
フレーム対応ビデオ拡散モデル(FVDM)を提案する。
我々のアプローチでは、各フレームが独立したノイズスケジュールに従うことができ、モデルのキャパシティを高めて、きめ細かい時間依存性を捉えることができる。
実験により、FVDMは映像生成品質において最先端の手法よりも優れ、拡張タスクにも優れることが示された。
論文 参考訳（メタデータ） (2024-10-04T05:47:39Z) - Vivid-ZOO: Multi-View Video Generation with Diffusion Model [76.96449336578286]
新しい課題は、大量のキャプション付きマルチビュービデオの欠如と、そのような多次元分布をモデル化する複雑さにある。
本稿では,テキストから動的3Dオブジェクトを中心に,高品質なマルチビュービデオを生成する拡散型パイプラインを提案する。
論文 参考訳（メタデータ） (2024-06-12T21:44:04Z) - S2DM: Sector-Shaped Diffusion Models for Video Generation [2.0270353391739637]
ビデオ生成のためのセクタ型拡散モデル(S2DM)を提案する。
S2DMは、同じ意味と本質的な特徴を共有する本質的な関連データ群を生成することができる。
追加のトレーニングなしに、我々のモデルは、他の時間的条件と統合され、生成モデルは、既存の作業と同等のパフォーマンスを達成できることを示す。
論文 参考訳（メタデータ） (2024-03-20T08:50:15Z) - Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation [55.36617538438858]
本研究では,空間的知覚と時間的知覚の相互作用を強化する新しいアプローチを提案する。
我々はHD-VG-130Mという大規模かつオープンソースのビデオデータセットをキュレートする。
論文 参考訳（メタデータ） (2023-05-18T11:06:15Z) - Video Probabilistic Diffusion Models in Projected Latent Space [75.4253202574722]
我々は、PVDM(Latent Video diffusion model)と呼ばれる新しいビデオ生成モデルを提案する。
PVDMは低次元の潜伏空間で映像配信を学習し、限られた資源で高解像度映像を効率的に訓練することができる。
論文 参考訳（メタデータ） (2023-02-15T14:22:34Z) - Spatiotemporal Inconsistency Learning for DeepFake Video Detection [51.747219106855624]
本稿では,水平方向と垂直方向の両方で隣接するフレーム間の時間差を利用して,TIMにおける新しい時間的モデリングパラダイムを提案する。
ISMは、SIMからの空間情報とTIMからの時間情報とを同時に利用し、より包括的な時空間表現を確立する。
論文 参考訳（メタデータ） (2021-09-04T13:05:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。