論文の概要: Movie Weaver: Tuning-Free Multi-Concept Video Personalization with Anchored Prompts

• arxiv url: http://arxiv.org/abs/2502.07802v1
• Date: Tue, 04 Feb 2025 22:03:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-16 04:07:13.742687
• Title: Movie Weaver: Tuning-Free Multi-Concept Video Personalization with Anchored Prompts
• Title（参考訳）: Movie Weaver:アンカー付きプロンプト付きマルチコンセプトビデオパーソナライズ
• Authors: Feng Liang, Haoyu Ma, Zecheng He, Tingbo Hou, Ji Hou, Kunpeng Li, Xiaoliang Dai, Felix Juefei-Xu, Samaneh Azadi, Animesh Sinha, Peizhao Zhang, Peter Vajda, Diana Marculescu,
• Abstract要約: マルチコンセプト統合に基づくビデオパーソナライズのための新しい手法を提案する。 Movie Weaverは、顔、体、動物画像を含む複数のコンセプトをシームレスに1つのビデオに織り込み、1つのモデルで柔軟な組み合わせを可能にする。 評価の結果,Movie Weaverはアイデンティティの保存と全体的な品質において,既存のマルチコンセプトビデオパーソナライズ手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 49.63959518905243
• License:
• Abstract: Video personalization, which generates customized videos using reference images, has gained significant attention. However, prior methods typically focus on single-concept personalization, limiting broader applications that require multi-concept integration. Attempts to extend these models to multiple concepts often lead to identity blending, which results in composite characters with fused attributes from multiple sources. This challenge arises due to the lack of a mechanism to link each concept with its specific reference image. We address this with anchored prompts, which embed image anchors as unique tokens within text prompts, guiding accurate referencing during generation. Additionally, we introduce concept embeddings to encode the order of reference images. Our approach, Movie Weaver, seamlessly weaves multiple concepts-including face, body, and animal images-into one video, allowing flexible combinations in a single model. The evaluation shows that Movie Weaver outperforms existing methods for multi-concept video personalization in identity preservation and overall quality.
• Abstract（参考訳）: 参照画像を用いてカスタマイズされたビデオを生成するビデオパーソナライズが注目されている。 しかし、従来の手法は一般的にシングルコンセプトのパーソナライズに重点を置いており、マルチコンセプト統合を必要とする幅広いアプリケーションを制限する。 これらのモデルを複数の概念に拡張しようという試みは、しばしばアイデンティティのブレンディングにつながる。 この課題は、それぞれの概念を特定の参照イメージと結びつけるメカニズムが欠如していることから生じる。 画像アンカーをテキストプロンプトにユニークなトークンとして埋め込み、生成時に正確な参照を導く。 さらに,参照画像の順序をエンコードするための概念埋め込みを導入する。 われわれのアプローチであるMovie Weaverは、顔、体、動物画像など複数のコンセプトをシームレスに1つのビデオに織り込み、1つのモデルで柔軟な組み合わせを可能にする。 評価の結果,Movie Weaverはアイデンティティの保存と全体的な品質において,既存のマルチコンセプトビデオパーソナライズ手法よりも優れていた。

関連論文リスト

• TweedieMix: Improving Multi-Concept Fusion for Diffusion-based Image/Video Generation [67.97044071594257]
  TweedieMixは、カスタマイズされた拡散モデルを構成する新しい方法である。 我々のフレームワークは、画像とビデオの拡散モデルに力ずくで拡張できる。
  論文  参考訳（メタデータ） (2024-10-08T01:06:01Z)
• Concept Conductor: Orchestrating Multiple Personalized Concepts in Text-to-Image Synthesis [14.21719970175159]
  コンセプトコンダクタは、マルチコンセプトのカスタマイズにおいて、視覚的忠実さと正確なレイアウトを保証するように設計されている。 本稿では,各概念の生成領域を特定するために形状認識マスクを用いた概念注入手法を提案する。 本手法は,様々な概念の組み合わせをサポートし,視覚的に類似した概念を扱う場合でも高い忠実性を維持する。
  論文  参考訳（メタデータ） (2024-08-07T08:43:58Z)
• FreeCustom: Tuning-Free Customized Image Generation for Multi-Concept Composition [49.2208591663092]
  FreeCustomは、参照概念に基づいたマルチコンセプト構成のカスタマイズされた画像を生成するためのチューニング不要な方法である。 本稿では,MRSA(Multi-Reference Self-attention)機構と重み付きマスク戦略を導入する。 提案手法は,マルチコンセプト構成やシングルコンセプトのカスタマイズの観点から,他のトレーニングベース手法と同等あるいは同等に機能する。
  論文  参考訳（メタデータ） (2024-05-22T17:53:38Z)
• Concept Weaver: Enabling Multi-Concept Fusion in Text-to-Image Models [85.14042557052352]
  本研究では,カスタマイズされたテキストと画像の拡散モデルを推論時に作成する方法であるConcept Weaverを紹介する。 概念ウィーバーは、他のアプローチと比較して、アイデンティティの忠実度が高い複数のカスタム概念を生成可能であることを示す。
  論文  参考訳（メタデータ） (2024-04-05T06:41:27Z)
• Visual Concept-driven Image Generation with Text-to-Image Diffusion Model [65.96212844602866]
  テキスト・ツー・イメージ(TTI)モデルは複雑なシーンの高解像度画像を生成するという印象的な結果を示した。 近年のアプローチでは、これらの手法をパーソナライズ技術で拡張し、ユーザ認証の概念の統合を可能にしている。 しかし、人間の被写体のような複数の相互作用する概念を持つ画像を生成する能力は、1つにまたがったり、複数にまたがったりする概念は、いまだに説明がつかないままである。 これらの課題に対処する概念駆動型TTIパーソナライズフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T07:28:37Z)
• Break-A-Scene: Extracting Multiple Concepts from a Single Image [80.47666266017207]
  テキストシーン分解の課題を紹介する。 本稿では,対象概念の存在を示すマスクを用いた入力画像の拡張を提案する。 次に、新しい2段階のカスタマイズプロセスを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。