論文の概要: DynASyn: Multi-Subject Personalization Enabling Dynamic Action Synthesis

• arxiv url: http://arxiv.org/abs/2503.17728v1
• Date: Sat, 22 Mar 2025 10:56:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:38:50.245618
• Title: DynASyn: Multi-Subject Personalization Enabling Dynamic Action Synthesis
• Title（参考訳）: DynASyn: 動的動作合成による多目的パーソナライゼーション
• Authors: Yongjin Choi, Chanhun Park, Seung Jun Baek,
• Abstract要約: 単一参照画像からの効果的な多目的パーソナライズであるDynASynを提案する。 DynASynは、概念に基づく先行と主題の出現と行動とを整合させることにより、パーソナライズプロセスにおける主題のアイデンティティを保存する。 さらに,アイデンティティの保存と行動多様性のトレードオフを高めるために,概念に基づくプロンプト・アンド・イメージの強化を提案する。
• 参考スコア（独自算出の注目度）: 3.6294581578004332
• License:
• Abstract: Recent advances in text-to-image diffusion models spurred research on personalization, i.e., a customized image synthesis, of subjects within reference images. Although existing personalization methods are able to alter the subjects' positions or to personalize multiple subjects simultaneously, they often struggle to modify the behaviors of subjects or their dynamic interactions. The difficulty is attributable to overfitting to reference images, which worsens if only a single reference image is available. We propose DynASyn, an effective multi-subject personalization from a single reference image addressing these challenges. DynASyn preserves the subject identity in the personalization process by aligning concept-based priors with subject appearances and actions. This is achieved by regularizing the attention maps between the subject token and images through concept-based priors. In addition, we propose concept-based prompt-and-image augmentation for an enhanced trade-off between identity preservation and action diversity. We adopt an SDE-based editing guided by augmented prompts to generate diverse appearances and actions while maintaining identity consistency in the augmented images. Experiments show that DynASyn is capable of synthesizing highly realistic images of subjects with novel contexts and dynamic interactions with the surroundings, and outperforms baseline methods in both quantitative and qualitative aspects.
• Abstract（参考訳）: テキスト・画像拡散モデルの最近の進歩は、パーソナライゼーション、すなわち、参照画像内の被写体をカスタマイズした画像合成の研究を加速させた。 既存のパーソナライズ手法は、被験者の位置を変更したり、複数の被験者を同時にパーソナライズすることができるが、しばしば被験者の行動やその動的相互作用を変更するのに苦労する。 この難しさは、参照イメージに過度に適合することに起因するもので、単一の参照イメージのみが利用できる場合、さらに悪化する。 これらの課題に対処する単一の参照画像から効果的なマルチオブジェクトパーソナライズであるDynASynを提案する。 DynASynは、概念に基づく先行と主題の出現と行動とを整合させることにより、パーソナライズプロセスにおける主題のアイデンティティを保存する。 これは、被験者トークンと画像の間のアテンションマップを概念ベースで規則化することで達成される。 さらに,アイデンティティの保存と行動多様性のトレードオフを高めるために,概念に基づくプロンプト・アンド・イメージの強化を提案する。 我々は、拡張プロンプトでガイドされたSDEベースの編集を採用し、画像内のアイデンティティの整合性を維持しながら、多様な外観や動作を生成する。 実験により、DynASynは、新しい文脈と周囲とのダイナミックな相互作用を持つ、非常に現実的な被験者のイメージを合成でき、定量的および定性的な両面においてベースライン法より優れていることが示された。

関連論文リスト

• Nested Attention: Semantic-aware Attention Values for Concept Personalization [78.90196530697897]
  我々はNested Attentionを紹介した。これはモデル内の既存のクロスアテンション層にリッチで表現豊かなイメージ表現を注入する新しいメカニズムである。 私たちのキーとなるアイデアは、ネストした注意層から得られたクエリ依存の主観値を生成し、生成した画像の各領域について関連する主観的特徴を選択することである。
  論文  参考訳（メタデータ） (2025-01-02T18:52:11Z)
• Imagine yourself: Tuning-Free Personalized Image Generation [39.63411174712078]
  私たちは、パーソナライズされた画像生成用に設計された最先端のモデルであるImagine yourselfを紹介します。 チューニング不要のモデルとして機能し、個別に調整することなく、すべてのユーザが共有フレームワークを活用できる。 我々の研究は、Imagine自身が最先端のパーソナライズモデルを超え、アイデンティティ保存、視覚的品質、テキストアライメントにおいて優れた能力を示すことを示した。
  論文  参考訳（メタデータ） (2024-09-20T09:21:49Z)
• Training-Free Consistent Text-to-Image Generation [80.4814768762066]
  テキスト・ツー・イメージ・モデルは様々なプロンプトで同じ主題を表現できる。 既存のアプローチは、特定のユーザが提供する主題を記述する新しい単語を教えるためにモデルを微調整する。 本研究では、事前学習モデルの内部アクティベーションを共有することによって、一貫した主題生成を可能にする、トレーニング不要なアプローチであるConsiStoryを提案する。
  論文  参考訳（メタデータ） (2024-02-05T18:42:34Z)
• FaceStudio: Put Your Face Everywhere in Seconds [23.381791316305332]
  アイデンティティを保存する画像合成は、パーソナライズされたスタイリスティックなタッチを加えながら、被験者のアイデンティティを維持することを目指している。 Textual InversionやDreamBoothといった従来の手法は、カスタムイメージ作成に力を入れている。 本研究は,人間の画像に焦点をあてたアイデンティティ保存合成への新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-05T11:02:45Z)
• Collaborative Score Distillation for Consistent Visual Synthesis [70.29294250371312]
  コラボレーティブスコア蒸留 (CSD) は, 定常変分勾配Descence (SVGD) に基づく。 本研究では,パノラマ画像,ビデオ,3Dシーンの視覚的編集を含む,様々な作業におけるCDDの有効性を示す。 本研究は,サンプル間の整合性を向上し,テキスト・画像拡散モデルの適用性を高めるための汎用手法として,CDDの能力について述べる。
  論文  参考訳（メタデータ） (2023-07-04T17:31:50Z)
• Cones 2: Customizable Image Synthesis with Multiple Subjects [50.54010141032032]
  本研究では,特定の対象を効率的に表現する方法と,異なる対象を適切に構成する方法について検討する。 クロスアテンションマップ内のアクティベーションを修正することにより、レイアウトはイメージ内の異なる被写体の位置を指定して分離する。
  論文  参考訳（メタデータ） (2023-05-30T18:00:06Z)
• Taming Encoder for Zero Fine-tuning Image Customization with Text-to-Image Diffusion Models [55.04969603431266]
  本稿では,ユーザが指定したカスタマイズされたオブジェクトの画像を生成する手法を提案する。 この手法は、従来のアプローチで要求される長大な最適化をバイパスする一般的なフレームワークに基づいている。 提案手法は, 出力品質, 外観の多様性, 被写体忠実度を考慮した画像合成が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-05T17:59:32Z)
• DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation [26.748667878221568]
  テキスト・ツー・イメージ・モデルの「個人化」のための新しいアプローチを提案する。 トレーニング済みのテキスト・ツー・イメージモデルを微調整して、ユニークな識別子を特定の主題にバインドする。 次に、ユニークな識別子を使用して、異なるシーンでコンテキスト化された被写体の完全なフォトリアリスティック・ノーベル画像を合成することができる。
  論文  参考訳（メタデータ） (2022-08-25T17:45:49Z)
• Semantic Photo Manipulation with a Generative Image Prior [86.01714863596347]
  GANは、ユーザスケッチ、テキスト、セマンティックラベルなどの入力に条件付きイメージを合成することができる。 GANが入力画像を正確に再現することは困難である。 本稿では,GANが以前に学んだイメージを個々の画像の統計に適応させることにより,これらの問題に対処する。 提案手法は,入力画像の外観と一致して,入力画像を正確に再構成し,新たなコンテンツを合成することができる。
  論文  参考訳（メタデータ） (2020-05-15T18:22:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。