論文の概要: IC-Portrait: In-Context Matching for View-Consistent Personalized Portrait

• arxiv url: http://arxiv.org/abs/2501.17159v2
• Date: Fri, 31 Jan 2025 11:36:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:02:05.752012
• Title: IC-Portrait: In-Context Matching for View-Consistent Personalized Portrait
• Title（参考訳）: ICポートレート:ビュー一貫性のあるパーソナライズされたポートレートのコンテキストマッチング
• Authors: Han Yang, Enis Simsar, Sotiris Anagnostidis, Yanlong Zang, Thomas Hofmann, Ziwei Liu,
• Abstract要約: IC-Portraitは、パーソナライズされた肖像画生成のために個々のアイデンティティを正確にエンコードするように設計された新しいフレームワークである。 我々の重要な洞察は、事前学習された拡散モデルは、文脈内密対応マッチングのための高速学習者であるということである。 我々は,IC-Portraitが既存の最先端手法を定量的かつ質的に一貫的に上回っていることを示す。
• 参考スコア（独自算出の注目度）: 51.18967854258571
• License:
• Abstract: Existing diffusion models show great potential for identity-preserving generation. However, personalized portrait generation remains challenging due to the diversity in user profiles, including variations in appearance and lighting conditions. To address these challenges, we propose IC-Portrait, a novel framework designed to accurately encode individual identities for personalized portrait generation. Our key insight is that pre-trained diffusion models are fast learners (e.g.,100 ~ 200 steps) for in-context dense correspondence matching, which motivates the two major designs of our IC-Portrait framework. Specifically, we reformulate portrait generation into two sub-tasks: 1) Lighting-Aware Stitching: we find that masking a high proportion of the input image, e.g., 80%, yields a highly effective self-supervisory representation learning of reference image lighting. 2) View-Consistent Adaptation: we leverage a synthetic view-consistent profile dataset to learn the in-context correspondence. The reference profile can then be warped into arbitrary poses for strong spatial-aligned view conditioning. Coupling these two designs by simply concatenating latents to form ControlNet-like supervision and modeling, enables us to significantly enhance the identity preservation fidelity and stability. Extensive evaluations demonstrate that IC-Portrait consistently outperforms existing state-of-the-art methods both quantitatively and qualitatively, with particularly notable improvements in visual qualities. Furthermore, IC-Portrait even demonstrates 3D-aware relighting capabilities.
• Abstract（参考訳）: 既存の拡散モデルはアイデンティティ保存生成に大きな可能性を示す。 しかし、外観や照明条件の変化など、ユーザプロファイルの多様性のため、パーソナライズされたポートレート生成は依然として困難である。 これらの課題に対処するために,人物像生成のための個人識別を正確に符号化する新しいフレームワークIC-Portraitを提案する。 我々の重要な洞察は、事前学習された拡散モデルは、文脈内密な対応マッチングのための高速学習者(例えば、100から200ステップ)であり、IC-Portraitフレームワークの2つの主要な設計を動機付けているということである。 具体的には、ポートレート生成を2つのサブタスクに再構成する。 1)照明対応ストッチニング:入力画像の高割合、例えば80%のマスキングは、参照画像照明の高効率な自己監督的表現学習をもたらす。 2)ビュー一貫性適応(View-Consistent Adaptation): 合成されたビュー一貫性プロファイルデータセットを利用して、コンテキスト内対応を学習する。 参照プロファイルは、強い空間整列ビューコンディショニングのために任意のポーズにワープすることができる。 これらの2つの設計の結合は、単に潜伏者を結合してコントロールネットのような監視・モデリングを形成することで、アイデンティティ保存の忠実さと安定性を大幅に向上させることができる。 IC-ポルトレートは、既存の最先端の手法を定量的にも質的にも一貫して上回り、特に視覚的品質の顕著な改善が示される。 さらに、IC-Portraitは3D対応のリライト機能もデモしている。

関連論文リスト

• Imagine yourself: Tuning-Free Personalized Image Generation [39.63411174712078]
  私たちは、パーソナライズされた画像生成用に設計された最先端のモデルであるImagine yourselfを紹介します。 チューニング不要のモデルとして機能し、個別に調整することなく、すべてのユーザが共有フレームワークを活用できる。 我々の研究は、Imagine自身が最先端のパーソナライズモデルを超え、アイデンティティ保存、視覚的品質、テキストアライメントにおいて優れた能力を示すことを示した。
  論文  参考訳（メタデータ） (2024-09-20T09:21:49Z)
• EZIGen: Enhancing zero-shot personalized image generation with precise subject encoding and decoupled guidance [20.430259028981094]
  EZIGenは、与えられたテキストプロンプトと被写体画像の両方に一致した画像を作成することを目的としている。 安定拡散モデルのトレーニング済みUNetをベースとした、慎重に製作された主画像エンコーダである。 統一されたモデルと100倍のトレーニングデータを備えた、複数のパーソナライズされた生成ベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-09-12T14:44:45Z)
• Layout-and-Retouch: A Dual-stage Framework for Improving Diversity in Personalized Image Generation [40.969861849933444]
  1)レイアウト生成と2)リタッチの2段階からなる,Layout-and-Retouchと呼ばれる新しいP-T2I手法を提案する。 ステップブレンド推論では,バニラT2Iモデル固有のサンプルの多様性を利用して,多様なレイアウト画像を生成する。 第2段階では、マルチソースアテンションは、第1ステージからのコンテキスト画像を参照画像に置き換え、コンテキスト画像から構造を活用し、参照画像から視覚的特徴を抽出する。
  論文  参考訳（メタデータ） (2024-07-13T05:28:45Z)
• ID-Aligner: Enhancing Identity-Preserving Text-to-Image Generation with Reward Feedback Learning [57.91881829308395]
  AIポートレートや広告といった幅広いアプリケーションシナリオのために、ID-T2I(ID-preserving text-to-image generation)が注目されている。 我々は,ID-T2I性能を向上させるための一般的なフィードバック学習フレームワークである textbfID-Aligner を提案する。
  論文  参考訳（メタデータ） (2024-04-23T18:41:56Z)
• DiffFAE: Advancing High-fidelity One-shot Facial Appearance Editing with Space-sensitive Customization and Semantic Preservation [84.0586749616249]
  本稿では,高忠実度顔画像編集に適した1段階かつ高効率な拡散ベースフレームワークDiffFAEを提案する。 高忠実度クエリ属性転送には、空間感性物理カスタマイズ(SPC)を採用し、忠実度と一般化能力を保証している。 ソース属性を保存するために、Regional-responsive Semantic Composition (RSC)を導入する。 このモジュールは、切り離されたソースを無視する特徴を学習するためにガイドされ、髪、服、背景などの非顔的属性からアーティファクトを保存し緩和する。
  論文  参考訳（メタデータ） (2024-03-26T12:53:10Z)
• Personalized Face Inpainting with Diffusion Models by Parallel Visual Attention [55.33017432880408]
  本稿では,パラレル視覚注意(PVA, Parallel Visual Attention, PVA)と拡散モデルとの併用による塗装結果の改善を提案する。 我々はCelebAHQ-IDIで注目モジュールとIDエンコーダをトレーニングする。 実験により, PVAは顔の塗り絵と顔の塗り絵の両面において, 言語指導タスクと相容れない同一性を持つことが示された。
  論文  参考訳（メタデータ） (2023-12-06T15:39:03Z)
• MetaPortrait: Identity-Preserving Talking Head Generation with Fast Personalized Adaptation [57.060828009199646]
  本稿では,ID保存型音声ヘッド生成フレームワークを提案する。 密集したランドマークは、正確な幾何認識フローフィールドを達成するために不可欠であると主張する。 我々は、合成中にソースアイデンティティを適応的に融合させ、画像ポートレートのキー特性をよりよく保存する。
  論文  参考訳（メタデータ） (2022-12-15T18:59:33Z)
• Towards Unsupervised Deep Image Enhancement with Generative Adversarial Network [92.01145655155374]
  監視されていない画像強調生成ネットワーク(UEGAN)を提案する。 教師なしの方法で所望の特性を持つ画像の集合から、対応する画像と画像のマッピングを学習する。 その結果,提案モデルは画像の美的品質を効果的に向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。