論文の概要: Direct, Parallel, or Sequential? A Comparative Study of Training-Free Multi-Subject Image-to-Video Generation
- arxiv url: http://arxiv.org/abs/2608.22819v1
- Date: Mon, 24 Aug 2026 05:30:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.899641
- Title: Direct, Parallel, or Sequential? A Comparative Study of Training-Free Multi-Subject Image-to-Video Generation
- Title（参考訳）: 直接, 並列, シーケンス? トレーニング不要なマルチオブジェクト画像生成の比較研究
- Abstract要約: テキスト条件付き画像合成(I2V)生成は急速に進歩しているが、複数の主題を持つビデオを生成することは依然として困難である。
本稿では,訓練不要なマルチオブジェクトI2V生成のための3つの代表的なパラダイム(ダイレクト,パラレル,シーケンシャル)を体系的に検討する。
- 参考スコア（独自算出の注目度）: 7.76565939322654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-conditioned image-to-video (I2V) generation has advanced rapidly, yet generating videos with multiple subjects remains challenging. A model must simultaneously preserve the appearance of each subject, assign distinct motions, and maintain coherent spatial and temporal interactions. This paper presents a systematic study of three representative paradigms for training-free multi-subject I2V generation: direct, parallel, and sequential generation. Direct generation applies a pretrained I2V model to the complete reference image and prompt, requiring all subjects and motions to be synthesized jointly. Parallel and sequential generation instead decompose the reference image and prompt into subject-specific visual and textual conditions. Parallel generation synthesizes each subject independently and subsequently composes the resulting videos, reducing the complexity of each generation step at the cost of weaker inter-subject context. Sequential generation first synthesizes a background video and then progressively introduces individual subjects. This preserves accumulated scene context but introduces sensitivity to subject ordering and error propagation. We empirically evaluate the three paradigms across diverse multi-subject scenes, comparing appearance preservation, motion fidelity, temporal consistency, and inter-subject coherence, while also characterizing their distinct failure modes. Our findings reveal the strengths and limitations of each paradigm and offer practical insights for designing controllable multi-subject video generation systems.
- Abstract（参考訳）: テキスト条件付き画像合成(I2V)生成は急速に進歩しているが、複数の主題を持つビデオを生成することは依然として困難である。
モデルは、各主題の外観を同時に保存し、異なる動きを割り当て、コヒーレントな空間的および時間的相互作用を維持する必要がある。
本稿では,訓練不要なマルチオブジェクトI2V生成のための3つの代表的なパラダイム(ダイレクト,パラレル,シーケンシャル)を体系的に検討する。
直接生成は、訓練済みのI2Vモデルを完全な参照画像に適用し、全ての被写体と運動を共同で合成する必要がある。
並列およびシーケンシャル生成は、参照イメージを分解し、主観的な視覚的およびテキスト的条件にプロンプトする。
並列生成は各被写体を独立に合成し、生成したビデオを構成する。
逐次生成は、まず背景映像を合成し、その後、個別の被写体を段階的に導入する。
これは蓄積されたシーンコンテキストを保存するが、主観的な順序付けやエラーの伝播に敏感を導入する。
我々は,多目的シーンにおける3つのパラダイムを実証的に評価し,外観の保存,運動の忠実度,時間的一貫性,オブジェクト間のコヒーレンスを比較し,異なる障害モードを特徴付ける。
本研究は,各パラダイムの長所と短所を明らかにし,制御可能なマルチオブジェクトビデオ生成システムを設計するための実践的な洞察を提供する。
関連論文リスト
- Dreaming in Flow: Generative Grounding Feedback for Self-Evolving Unified Multimodal Models [55.231245660246934]
統一マルチモーダルモデルは、視覚的理解と生成を単一のネットワークに統合するが、2つの機能は一般的に別々のタスクとして最適化される。
我々は,テキストプロンプトとモデル自身の視覚的体験のみを使用する自己進化型ポストトレーニングフレームワークである生成的グラウンド・フィードバックを紹介する。
論文 参考訳（メタデータ） (2026-09-08T05:52:53Z) - Vorch-IR: Long-Form Unified Multimodal Identity Replacement Video Generation [28.493796603648175]
Vorch-IRは、シングルモデルとデュアルパーソンのアイデンティティ置換をサポートする統一フレームワークで、オプションのバックグラウンド置換を単一のモデルでサポートする。
LTX2上に構築されたVorch-IRは、駆動ビデオ、インデックス付き参照画像、テキスト編集命令を共同で行う。
自動測定とペアワイズ人間評価を用いた実験は, 多様なシナリオにおける強いアイデンティティ保存, 動きの忠実度, 時間的コヒーレンスを示す。
論文 参考訳（メタデータ） (2026-08-06T06:46:35Z) - Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment [20.811984469709508]
Auraは、高忠実でアイデンティティに一貫性のあるビデオ生成のための統一されたフレームワークである。
本稿では,映像コンテンツの密度と構造を記述したAIディレクターレベルのキャプションを紹介する。
専用データ構築パイプラインを通じて高品質なビデオオブジェクト画像データセットを構築する。
論文 参考訳（メタデータ） (2026-07-05T13:54:33Z) - Closed-Loop Triplet Synergistic Generation for Long-Form Video [61.88597038104749]
CoSyTriGenは、クローズドループビジュアル-テキスト-メモリのシナジープロセスとしてマルチショット長ビデオ生成を定式化するエージェントフレームワークである。
この三重項に対して視覚言語モデルに基づくアナライザが原因となり、2つの経路に沿ってプロンプトとメモリの両方を更新する。
StoryBenchベンチマークの実験では、代表法よりもクロスショット一貫性、即効性、撮影連続性を大幅に改善した。
論文 参考訳（メタデータ） (2026-06-15T03:56:43Z) - Think in Strokes, Not Pixels: Process-Driven Image Generation via Interleaved Reasoning [59.262311672150055]
プロセス駆動画像生成は多段階のパラダイムで、合成をインターリーブな推論軌道に分解する。
プロセス駆動生成の核となる課題は、中間状態のあいまいさに起因する。
2つの相補的な制約を維持する、密集したステップワイドな監視を通じてこの問題に対処する。
論文 参考訳（メタデータ） (2026-04-06T15:11:57Z) - SneakPeek: Future-Guided Instructional Streaming Video Generation [27.65687424500011]
我々は,SneakPeekという,将来駆動型ストリーミングインストラクショナルビデオ生成のためのパイプラインを導入する。
当社のアプローチでは,一貫性と可制御性を高めるために,3つの重要なイノベーションを導入しています。
実験により,本手法は時間的コヒーレントで意味論的に忠実な指導ビデオを生成することが示された。
論文 参考訳（メタデータ） (2025-12-15T06:32:57Z) - OpenSubject: Leveraging Video-Derived Identity and Diversity Priors for Subject-driven Image Generation and Manipulation [53.33087515226418]
ビデオ由来の大規模コーパスであるOpenSubjectを導入し,2.5Mサンプルと4.35Mイメージを被験者駆動で生成・操作する。
データセットは、4段階のパイプラインで構築されている。
さらに、主観的生成と操作を対象とするベンチマークを導入し、その上で、VLM判定器によるアイデンティティの忠実度、即効性、操作整合性、背景整合性を評価する。
論文 参考訳（メタデータ） (2025-12-09T06:49:33Z) - ID-Composer: Multi-Subject Video Synthesis with Hierarchical Identity Preservation [48.59900036213667]
大規模なデータセットで事前訓練されたビデオ生成モデルは高品質なビデオを生成することができるが、テキストや単一の画像に条件付けされることも多い。
本稿では,テキストプロンプトと参照画像から多目的映像を生成する新しいフレームワークであるID-Composerを紹介する。
論文 参考訳（メタデータ） (2025-11-01T11:29:14Z) - AI Powered High Quality Text to Video Generation with Enhanced Temporal Consistency [0.0]
我々は,高忠実度テキストとビデオ合成のための時間的拡散認識モデルと合成シーン理解を統合した,新しい階層型フレームワークMOVAIを提案する。
標準ベンチマークの実験では、MOVAIの最先端性能、LPIPSの15.3%、FVDの12.7%、既存手法の18.9%の改善が示されている。
論文 参考訳（メタデータ） (2025-10-30T18:46:59Z) - TC-Bench: Benchmarking Temporal Compositionality in Text-to-Video and Image-to-Video Generation [97.96178992465511]
生成したビデオは、新しい概念の出現と、時間経過とともに現実の動画のようにそれらの関係の遷移を取り入れるべきである、と我々は主張する。
ビデオ生成モデルの時間構成性を評価するため,細部まで作り上げたテキストプロンプトのベンチマークであるTC-Benchと,それに対応する地上の真理ビデオ,ロバストな評価指標を提案する。
論文 参考訳（メタデータ） (2024-06-12T21:41:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。