論文の概要: GroupVideo: Multi-Identity Customized Text-to-Video Generation
- arxiv url: http://arxiv.org/abs/2607.21027v1
- Date: Thu, 23 Jul 2026 08:09:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.330825
- Title: GroupVideo: Multi-Identity Customized Text-to-Video Generation
- Title（参考訳）: GroupVideo:マルチアイデンティティでカスタマイズされたテキスト・ツー・ビデオ・ジェネレーション
- Abstract要約: GroupVideoは、複数の個人写真を利用して、アイデンティティをカスタマイズしたビデオを生成する新しいフレームワークである。
GroupVideoにはマルチモーダルなアイデンティティアライメントが組み込まれており、セマンティックアライメントは動きの自然性を高めるセマンティックな知覚を導入している。
マルチIDビデオデータセットが不足しているため、我々は20,000のビデオの包括的な高品質なデータセットをキュレートした。
- 参考スコア（独自算出の注目度）: 53.89036635198158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current identity customized video generation methodologies are predominantly limited to single-identity scenarios, as the lack of explicit identity separation mechanisms often leads to identity confusion in multi-identity settings. Existing multi-identity approaches, which directly extend single-identity frameworks by concatenating face images as input conditions, frequently result in unnatural facial expressions and motions, manifesting as the "copy-paste" phenomenon. To overcome these limitations, we introduce GroupVideo, a novel framework that leverages multiple individual photographs to generate identitycustomized video. Built upon Video Diffusion Transformers, GroupVideo incorporates multimodal identity alignment: visual alignment jointly encodes multiple face images to provide robust identity references, while semantic alignment introduces a semantic perceiver to enhance the naturalness of motions. An ID localization module with spatial guidance is introduced to address identity blending and enhance identity fidelity, along with bounding box constraints and mask regularization loss, to focus on facial regions and improve training efficiency. In response to the shortage of multi-ID video datasets, we have curated a comprehensive high-quality dataset of 20,000 videos, thereby establishing a crucial resource to advance future research in multi-ID video generation. Extensive experiments demonstrate that GroupVideo outperforms existing methods in generating multi-character videos with consistent identities and natural motions.
- Abstract（参考訳）: 現在のアイデンティティをカスタマイズしたビデオ生成手法は、明示的なアイデンティティ分離機構の欠如が、複数のアイデンティティ設定におけるアイデンティティの混乱を招きかねないため、主に単一アイデンティティのシナリオに限られている。
顔画像を入力条件として結合することで、単一同一性フレームワークを直接拡張する既存のマルチアイデンティティアプローチは、しばしば不自然な表情や動きをもたらし、「コピー・ペースト」現象として表される。
これらの制約を克服するために,複数の写真を利用して個人化ビデオを生成する新しいフレームワークであるGroupVideoを紹介した。
視覚的アライメントは複数の顔画像を共同で符号化して堅牢なアイデンティティ参照を提供し、セマンティックアライメントは動きの自然性を高めるセマンティックな知覚を導入します。
空間的ガイダンス付きIDローカライゼーションモジュールを導入し、アイデンティティのブレンディングに対処し、アイデンティティの忠実さを高めるとともに、境界ボックス制約やマスク正規化損失を解消し、顔領域に集中し、トレーニング効率を向上させる。
マルチIDビデオデータセットが不足しているため、我々は20,000本のビデオからなる包括的な高品質なデータセットをキュレーションし、マルチIDビデオ生成における今後の研究を進めるための重要なリソースを確立した。
大規模な実験により、GroupVideoは、一貫したアイデンティティと自然な動きを持つマルチキャラクタビデオの生成において、既存の手法よりも優れていることが示された。
関連論文リスト
- Vorch-IR: Long-Form Unified Multimodal Identity Replacement Video Generation [28.493796603648175]
Vorch-IRは、シングルモデルとデュアルパーソンのアイデンティティ置換をサポートする統一フレームワークで、オプションのバックグラウンド置換を単一のモデルでサポートする。
LTX2上に構築されたVorch-IRは、駆動ビデオ、インデックス付き参照画像、テキスト編集命令を共同で行う。
自動測定とペアワイズ人間評価を用いた実験は, 多様なシナリオにおける強いアイデンティティ保存, 動きの忠実度, 時間的コヒーレンスを示す。
論文 参考訳（メタデータ） (2026-08-06T06:46:35Z) - HarmoView: Harmonizing Multi-View Constraints for Identity-Consistent Video Generation [21.0568663910476]
HarmoViewは、アイデンティティ一貫性のあるビデオ生成のための堅牢なフレームワークである。
3つのアーキテクチャの洗練と、段階的なトレーニングカリキュラムを通じて、マルチビューのキューを統合している。
HarmoViewは、オープンソースベースラインを著しく上回り、主要なクローズドソースエンジンとマッチする。
論文 参考訳（メタデータ） (2026-06-09T13:26:39Z) - Gloria: Consistent Character Video Generation via Content Anchors [63.7455328319917]
本稿では,アンカーフレームのコンパクトな集合を通して,文字の視覚特性を表現することを提案する。
この設計は、一貫性のための安定した参照を提供するが、参照ベースのビデオ生成はコピーパッティングとマルチ参照競合の課題に直面している。
実験により,提案手法は10分を超える高品質なキャラクタビデオを生成し,既存の手法を超越して,ビュー間の表現的アイデンティティと外観整合性を実現する。
論文 参考訳（メタデータ） (2026-03-31T16:06:16Z) - AnyID: Ultra-Fidelity Universal Identity-Preserving Video Generation from Any Visual References [52.81991915377852]
我々は,超忠実なアイデンティティ保存ビデオ生成フレームワークであるAnyIDを提案する。
まず,不均一な同一性入力を結合表現に効果的に統一する,スケーラブルなオムニ参照アーキテクチャを提案する。
第2に、1つの参照を標準アンカーとして指定し、新しい微分プロンプトを用いて正確な属性レベルの制御を可能にする一次参照生成パラダイムを提案する。
論文 参考訳（メタデータ） (2026-03-26T08:54:48Z) - AnyCrowd: Instance-Isolated Identity-Pose Binding for Arbitrary Multi-Character Animation [55.94507360511886]
我々は,任意の文字にスケール可能なトランスフォーマーベースのビデオ生成フレームワークであるAnyCrowdを提案する。
具体的には、まず、DiT処理に先立って文字インスタンスを独立してエンコードするIILR(Instance-Isolated Latent Representation)を導入し、遅延IDの絡み込みを防止する。
この不整合表現に基づいて、さらに、(i)インスタンス認識フォアグラウンドアテンション、(ii)背景中心の相互作用、(iii)世界背景調整に自己注意を分解することで、運転ポーズにアイデンティティを結合するトリステージデカップリングアテンション(TSDA)を提案する。
論文 参考訳（メタデータ） (2026-03-16T15:25:04Z) - PolyVivid: Vivid Multi-Subject Video Generation with Cross-Modal Interaction and Enhancement [26.89021788485701]
PolyVividは、フレキシブルでアイデンティティ一貫性のある生成を可能にする、多目的ビデオカスタマイズフレームワークである。
実験では、PolyVividはアイデンティティの忠実さ、ビデオリアリズム、被写体アライメントにおいて優れたパフォーマンスを達成し、既存のオープンソースおよび商用ベースラインを上回っている。
論文 参考訳（メタデータ） (2025-06-09T15:11:09Z) - Concat-ID: Towards Universal Identity-Preserving Video Synthesis [23.40342294656802]
Concat-IDは、アイデンティティ保存ビデオ合成のための統合されたフレームワークである。
それは、それらを組み込むための固有の3D自己認識機構にのみ依存する。
Concat-IDは、ID保存ビデオ合成のための新しいベンチマークを確立する。
論文 参考訳（メタデータ） (2025-03-18T11:17:32Z) - Magic-Me: Identity-Specific Video Customized Diffusion [72.05925155000165]
本稿では、VCD(Video Custom Diffusion)と呼ばれる、制御可能な被写体識別制御可能なビデオ生成フレームワークを提案する。
いくつかの画像によって定義された特定IDにより、VCDはアイデンティティ特性を強化し、安定したビデオ出力のためにフレームワイズ相関を注入する。
我々は、VCDがベースラインよりも優れたIDで安定した動画を生成可能であることを検証するために、広範囲な実験を行った。
論文 参考訳（メタデータ） (2024-02-14T18:13:51Z) - Identity-Aware Multi-Sentence Video Description [105.13845996039277]
本稿では,一組のクリップ内に一貫した人物の身元を予測することを目的とした,身元確認の補助的タスクを提案する。
鍵となるコンポーネントの1つは、性別を意識したテキスト表現であり、メインモデルにおける追加の性別予測目標である。
実験の結果,提案したフィリング・イン・ザ・アイデンティティ・モデルは,いくつかのベースラインや最近の研究よりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-08-22T09:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。