論文の概要: Learning Joint ID-Textual Representation for ID-Preserving Image Synthesis

• arxiv url: http://arxiv.org/abs/2504.14202v1
• Date: Sat, 19 Apr 2025 06:31:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 04:20:58.976762
• Title: Learning Joint ID-Textual Representation for ID-Preserving Image Synthesis
• Title（参考訳）: ID保存画像合成のための共同ID-テキスト表現の学習
• Authors: Zichuan Liu, Liming Jiang, Qing Yan, Yumin Jia, Hao Kang, Xin Lu,
• Abstract要約: マルチモーダル符号化戦略を用いたID保存のための新しいフレームワークを提案する。 FaceCLIPは、アイデンティティとテキストセマンティクスの両方のための共同埋め込み空間を学習する。 次に、ID保存画像合成パイプラインであるFaceCLIP-SDXLを構築する。
• 参考スコア（独自算出の注目度）: 19.869955517856273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel framework for ID-preserving generation using a multi-modal encoding strategy rather than injecting identity features via adapters into pre-trained models. Our method treats identity and text as a unified conditioning input. To achieve this, we introduce FaceCLIP, a multi-modal encoder that learns a joint embedding space for both identity and textual semantics. Given a reference face and a text prompt, FaceCLIP produces a unified representation that encodes both identity and text, which conditions a base diffusion model to generate images that are identity-consistent and text-aligned. We also present a multi-modal alignment algorithm to train FaceCLIP, using a loss that aligns its joint representation with face, text, and image embedding spaces. We then build FaceCLIP-SDXL, an ID-preserving image synthesis pipeline by integrating FaceCLIP with Stable Diffusion XL (SDXL). Compared to prior methods, FaceCLIP-SDXL enables photorealistic portrait generation with better identity preservation and textual relevance. Extensive experiments demonstrate its quantitative and qualitative superiority.
• Abstract（参考訳）: 本稿では,事前学習モデルにアダプタを介してID特徴を注入するのではなく,マルチモーダル符号化戦略を用いたID保存のための新しいフレームワークを提案する。 本手法は,IDとテキストを統一条件入力として扱う。 これを実現するために,多モードエンコーダであるFaceCLIPを導入する。 参照顔とテキストプロンプトが与えられた場合、FaceCLIPはアイデンティティとテキストの両方をエンコードする統一表現を生成し、ベース拡散モデルを条件として、IDに一貫性があり、テキストに整合した画像を生成する。 また、顔、テキスト、画像埋め込み空間との結合表現を一致させる損失を用いて、FaceCLIPのトレーニングを行うマルチモーダルアライメントアルゴリズムを提案する。 次に、FaceCLIPとSDXL(Stable Diffusion XL)を統合することにより、ID保存画像合成パイプラインであるFaceCLIP-SDXLを構築する。 従来の方法と比較して、FaceCLIP-SDXLは、アイデンティティの保存とテキスト関連性を改善した、フォトリアリスティックなポートレート生成を可能にする。 大規模な実験は、その量的および質的な優越性を示す。

関連論文リスト

• Fusion is all you need: Face Fusion for Customized Identity-Preserving Image Synthesis [7.099258248662009]
  テキスト・ツー・イメージ(T2I)モデルは人工知能の開発を著しく進歩させてきた。 しかし、既存のT2Iベースの手法は、参照画像から個人を正確に再現するのに苦労することが多い。 我々は、安定拡散から得られた事前学習されたUNetを利用して、対象の顔画像を直接生成プロセスに組み込む。
  論文  参考訳（メタデータ） (2024-09-27T19:31:04Z)
• Infinite-ID: Identity-preserved Personalization via ID-semantics Decoupling Paradigm [31.06269858216316]
  アイデンティティ保存型パーソナライゼーションのためのID-セマンティックデカップリングパラダイムであるInfinite-IDを提案する。 我々は、十分なID情報を取得するために、追加のイメージクロスアテンションモジュールを組み込んだアイデンティティ強化トレーニングを導入する。 また、2つのストリームをシームレスにマージするために、混合アテンションモジュールとAdaIN平均演算を組み合わせた機能相互作用機構を導入する。
  論文  参考訳（メタデータ） (2024-03-18T13:39:53Z)
• Arc2Face: A Foundation Model for ID-Consistent Human Faces [95.00331107591859]
  Arc2Faceは、ID条件のフェイスファンデーションモデルである。 既存のモデルと無矛盾の顔類似度で、多様なフォトリアリスティック画像を生成することができる。
  論文  参考訳（メタデータ） (2024-03-18T10:32:51Z)
• InstantID: Zero-shot Identity-Preserving Generation in Seconds [21.04236321562671]
  我々はID埋め込みのための強力な拡散モデルに基づくソリューションであるInstantIDを紹介する。 我々のプラグイン・アンド・プレイ・モジュールは、1つの顔画像だけで様々なスタイルで画像のパーソナライズ処理を行う。 私たちの仕事はSD1.5やSDXLのような、トレーニング済みのテキストと画像の拡散モデルとシームレスに統合されます。
  論文  参考訳（メタデータ） (2024-01-15T07:50:18Z)
• PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding [102.07914175196817]
  PhotoMakerは、効率的なパーソナライズされたテキスト・ツー・イメージ生成方法である。 任意の数の入力ID画像をスタックID埋め込みに符号化し、ID情報を保存する。
  論文  参考訳（メタデータ） (2023-12-07T17:32:29Z)
• When StyleGAN Meets Stable Diffusion: a $\mathscr{W}_+$ Adapter for Personalized Image Generation [60.305112612629465]
  テキストと画像の拡散モデルは、多種多様で高品質でフォトリアリスティックな画像を生成するのに優れている。 本稿では,拡散モデルのための拡張されたアイデンティティ保存とアンタングル化を実現するために,StyleGAN 埋め込み空間 $mathcalW_+$ の新たな利用法を提案する。 提案手法は,即時記述に適合するだけでなく,一般的なスタイルGAN編集方向に対応可能なパーソナライズされたテキスト・ツー・イメージ出力を生成する。
  論文  参考訳（メタデータ） (2023-11-29T09:05:14Z)
• Improving Face Recognition from Caption Supervision with Multi-Granular Contextual Feature Aggregation [0.0]
  我々は,COTS(Commercial-off-the-Shelf)顔認識システムの性能向上のための新しいフレームワークとして,キャプション誘導顔認識(CGFR)を導入した。 本稿では,2つの顔認識モデル(ArcFaceとAdaFace)にCGFRフレームワークを実装し,その性能をマルチモーダルCelebA-HQデータセットで評価した。
  論文  参考訳（メタデータ） (2023-08-13T23:52:15Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Towards Open-World Text-Guided Face Image Generation and Manipulation [52.83401421019309]
  顔画像生成と操作の両方に統一的なフレームワークを提案する。 本手法は,画像とテキストの両方を含むオープンワールドシナリオをサポートし,再トレーニングや微調整,後処理は行わない。
  論文  参考訳（メタデータ） (2021-04-18T16:56:07Z)
• TediGAN: Text-Guided Diverse Face Image Generation and Manipulation [52.83401421019309]
  TediGANはマルチモーダル画像生成とテキスト記述による操作のためのフレームワークである。 StyleGANインバージョンモジュールは、よく訓練されたStyleGANの潜在空間に実際の画像をマッピングする。 視覚言語的類似性は、画像とテキストを共通の埋め込み空間にマッピングすることで、テキスト画像マッチングを学ぶ。 インスタンスレベルの最適化は、操作におけるID保存のためのものだ。
  論文  参考訳（メタデータ） (2020-12-06T16:20:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。