Fugu-MT 論文翻訳(概要): Multi-subject Open-set Personalization in Video Generation

論文の概要: Multi-subject Open-set Personalization in Video Generation

arxiv url: http://arxiv.org/abs/2501.06187v1
Date: Fri, 10 Jan 2025 18:59:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-13 15:27:13.275076
Title: Multi-subject Open-set Personalization in Video Generation
Title（参考訳）: 映像生成における多目的オープンセットパーソナライズ
Authors: Tsai-Shien Chen, Aliaksandr Siarohin, Willi Menapace, Yuwei Fang, Kwot Sin Lee, Ivan Skorokhodov, Kfir Aberman, Jun-Yan Zhu, Ming-Hsuan Yang, Sergey Tulyakov,
Abstract要約: 我々は、マルチオブジェクトでオープンなパーソナライズ機能を備えたビデオモデルとして、Video Alchemist $-$を提示する。本モデルは,各条件付き参照画像と対応する主観レベルテキストプロンプトを融合するDiffusion Transformerモジュール上に構築されている。本手法は,定量評価と定性評価の両方において,既存のパーソナライズ手法を著しく上回っている。
参考スコア（独自算出の注目度）: 110.02124633005516
License:
Abstract: Video personalization methods allow us to synthesize videos with specific concepts such as people, pets, and places. However, existing methods often focus on limited domains, require time-consuming optimization per subject, or support only a single subject. We present Video Alchemist $-$ a video model with built-in multi-subject, open-set personalization capabilities for both foreground objects and background, eliminating the need for time-consuming test-time optimization. Our model is built on a new Diffusion Transformer module that fuses each conditional reference image and its corresponding subject-level text prompt with cross-attention layers. Developing such a large model presents two main challenges: dataset and evaluation. First, as paired datasets of reference images and videos are extremely hard to collect, we sample selected video frames as reference images and synthesize a clip of the target video. However, while models can easily denoise training videos given reference frames, they fail to generalize to new contexts. To mitigate this issue, we design a new automatic data construction pipeline with extensive image augmentations. Second, evaluating open-set video personalization is a challenge in itself. To address this, we introduce a personalization benchmark that focuses on accurate subject fidelity and supports diverse personalization scenarios. Finally, our extensive experiments show that our method significantly outperforms existing personalization methods in both quantitative and qualitative evaluations.
Abstract（参考訳）: ビデオパーソナライズ手法により、人間、ペット、場所といった特定の概念でビデオを合成することができる。しかし、既存のメソッドは、制限されたドメインに焦点を当てたり、主題ごとの時間的最適化を必要としたり、1つの主題しかサポートしていない場合が多い。我々は,ビデオalchemist $-$を,前景オブジェクトと背景の両方に対して,複数オブジェクトを組み込んだオープンセットパーソナライズ機能を備えたビデオモデルとして提示し,時間を要するテスト時間最適化の必要性を排除した。我々のモデルは,各条件付き参照画像と対応する主観レベルテキストプロンプトを相互アテンション層で融合する新しいDiffusion Transformerモジュール上に構築されている。このような大きなモデルの開発には、データセットと評価という2つの大きな課題がある。まず、参照画像とビデオのペア化データセットの収集は非常に困難であるため、選択したビデオフレームを参照画像としてサンプリングし、対象のビデオのクリップを合成する。しかし、モデルはトレーニングビデオに参照フレームを付与し易いが、新しいコンテキストへの一般化には失敗する。この問題を軽減するため,画像拡張機能を備えた新しい自動データ構築パイプラインを設計する。第二に、オープンセットのビデオパーソナライゼーションを評価することは、それ自体が課題である。そこで本研究では,正確な主観的忠実度に着目し,多様なパーソナライズシナリオをサポートするパーソナライズベンチマークを提案する。最後に,本手法は,定量評価と定性評価の両方において,既存のパーソナライズ手法を著しく上回っていることを示す。

論文の概要: Multi-subject Open-set Personalization in Video Generation

関連論文リスト