論文の概要: InfiniteYou: Flexible Photo Recrafting While Preserving Your Identity

• arxiv url: http://arxiv.org/abs/2503.16418v1
• Date: Thu, 20 Mar 2025 17:59:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:35:18.102034
• Title: InfiniteYou: Flexible Photo Recrafting While Preserving Your Identity
• Title（参考訳）: InfiniteYou:自分のアイデンティティを保存しながらフレキシブルな写真再現
• Authors: Liming Jiang, Qing Yan, Yumin Jia, Zichuan Liu, Hao Kang, Xin Lu,
• Abstract要約: InfUは、アイデンティティの類似性の不足、テキストイメージのアライメントの低下、世代品質と美学の低下など、既存の手法の問題に対処する。 事前トレーニングと教師付き微調整を含む多段階のトレーニング戦略は、テキストイメージアライメントを改善し、画質を改善し、顔の複写を緩和する。
• 参考スコア（独自算出の注目度）: 19.869955517856273
• License:
• Abstract: Achieving flexible and high-fidelity identity-preserved image generation remains formidable, particularly with advanced Diffusion Transformers (DiTs) like FLUX. We introduce InfiniteYou (InfU), one of the earliest robust frameworks leveraging DiTs for this task. InfU addresses significant issues of existing methods, such as insufficient identity similarity, poor text-image alignment, and low generation quality and aesthetics. Central to InfU is InfuseNet, a component that injects identity features into the DiT base model via residual connections, enhancing identity similarity while maintaining generation capabilities. A multi-stage training strategy, including pretraining and supervised fine-tuning (SFT) with synthetic single-person-multiple-sample (SPMS) data, further improves text-image alignment, ameliorates image quality, and alleviates face copy-pasting. Extensive experiments demonstrate that InfU achieves state-of-the-art performance, surpassing existing baselines. In addition, the plug-and-play design of InfU ensures compatibility with various existing methods, offering a valuable contribution to the broader community.
• Abstract（参考訳）: 特にFLUXのような高度な拡散変換器(DiT)では、フレキシブルで高忠実なアイデンティティ保存された画像生成が依然として困難である。 InfiniteYou(InfU)は、このタスクにDiTを利用した最も初期の堅牢なフレームワークの1つです。 InfUは、アイデンティティの類似性の不足、テキストイメージのアライメントの低下、生成品質と美学の低下など、既存の手法の重要な問題に対処する。 InfUの中心となるコンポーネントであるInfuseNetは、ID機能を残留接続を介してDiTベースモデルに注入し、生成機能を維持しながらアイデンティティの類似性を向上するコンポーネントである。 合成単対複数サンプル(SPMS)データによるSFT(Pretraining and supervised fine-tuning)を含む多段階トレーニング戦略は、テキスト・イメージアライメントをさらに改善し、画質を改善し、顔の複写を緩和する。 大規模な実験により、InfUは最先端のパフォーマンスを達成し、既存のベースラインを超えることが示されている。 さらに、InfUのプラグアンドプレイデザインは、様々な既存のメソッドとの互換性を確保し、より広いコミュニティに価値ある貢献を提供する。

関連論文リスト

• Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
  画像融合の本質は、ソース画像からの相補的な情報を統合することである。 DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
  論文  参考訳（メタデータ） (2024-10-16T06:28:49Z)
• Fusion is all you need: Face Fusion for Customized Identity-Preserving Image Synthesis [7.099258248662009]
  テキスト・ツー・イメージ(T2I)モデルは人工知能の開発を著しく進歩させてきた。 しかし、既存のT2Iベースの手法は、参照画像から個人を正確に再現するのに苦労することが多い。 我々は、安定拡散から得られた事前学習されたUNetを利用して、対象の顔画像を直接生成プロセスに組み込む。
  論文  参考訳（メタデータ） (2024-09-27T19:31:04Z)
• Diffusion-Based Hierarchical Image Steganography [60.69791384893602]
  Hierarchical Image Steganographyは、複数のイメージを単一のコンテナに埋め込むセキュリティとキャパシティを高める新しい方法である。 フローモデルの可逆性とともに拡散モデルの堅牢性を利用する。 この革新的な構造は、コンテナイメージを自律的に生成し、複数の画像やテキストを安全かつ効率的に隠蔽することができる。
  論文  参考訳（メタデータ） (2024-05-19T11:29:52Z)
• DiffFAE: Advancing High-fidelity One-shot Facial Appearance Editing with Space-sensitive Customization and Semantic Preservation [84.0586749616249]
  本稿では,高忠実度顔画像編集に適した1段階かつ高効率な拡散ベースフレームワークDiffFAEを提案する。 高忠実度クエリ属性転送には、空間感性物理カスタマイズ(SPC)を採用し、忠実度と一般化能力を保証している。 ソース属性を保存するために、Regional-responsive Semantic Composition (RSC)を導入する。 このモジュールは、切り離されたソースを無視する特徴を学習するためにガイドされ、髪、服、背景などの非顔的属性からアーティファクトを保存し緩和する。
  論文  参考訳（メタデータ） (2024-03-26T12:53:10Z)
• MM-Diff: High-Fidelity Image Personalization via Multi-Modal Condition Integration [7.087475633143941]
  MM-Diffはチューニング不要な画像パーソナライズフレームワークで、単写体と複数体の高忠実度画像を数秒で生成できる。 MM-Diff は視覚エンコーダを用いて入力画像を CLS に変換し、埋め込みをパッチする。 一方、CLS埋め込みはテキスト埋め込みを強化するために使用され、一方、パッチ埋め込みと共に、少数の詳細に富んだ主題埋め込みを導出する。
  論文  参考訳（メタデータ） (2024-03-22T09:32:31Z)
• Infinite-ID: Identity-preserved Personalization via ID-semantics Decoupling Paradigm [31.06269858216316]
  アイデンティティ保存型パーソナライゼーションのためのID-セマンティックデカップリングパラダイムであるInfinite-IDを提案する。 我々は、十分なID情報を取得するために、追加のイメージクロスアテンションモジュールを組み込んだアイデンティティ強化トレーニングを導入する。 また、2つのストリームをシームレスにマージするために、混合アテンションモジュールとAdaIN平均演算を組み合わせた機能相互作用機構を導入する。
  論文  参考訳（メタデータ） (2024-03-18T13:39:53Z)
• InstantID: Zero-shot Identity-Preserving Generation in Seconds [21.04236321562671]
  我々はID埋め込みのための強力な拡散モデルに基づくソリューションであるInstantIDを紹介する。 我々のプラグイン・アンド・プレイ・モジュールは、1つの顔画像だけで様々なスタイルで画像のパーソナライズ処理を行う。 私たちの仕事はSD1.5やSDXLのような、トレーニング済みのテキストと画像の拡散モデルとシームレスに統合されます。
  論文  参考訳（メタデータ） (2024-01-15T07:50:18Z)
• Hybrid-Supervised Dual-Search: Leveraging Automatic Learning for Loss-free Multi-Exposure Image Fusion [60.221404321514086]
  マルチ露光画像融合(MEF)は、様々な露光レベルを表すデジタルイメージングの限界に対処するための重要な解決策である。 本稿では、ネットワーク構造と損失関数の両方を自動設計するための二段階最適化探索方式であるHSDS-MEFと呼ばれるMEFのためのハイブリッドスーパービジョンデュアルサーチ手法を提案する。
  論文  参考訳（メタデータ） (2023-09-03T08:07:26Z)
• FaceDancer: Pose- and Occlusion-Aware High Fidelity Face Swapping [62.38898610210771]
  そこで我々は,FaceDancerという顔のスワップとID転送のための新しい単一ステージ手法を提案する。 アダプティブ・フィーチャー・フュージョン・アテンション(AFFA)と解釈的特徴類似性規則化(IFSR)の2つの主要なコントリビューションがある。
  論文  参考訳（メタデータ） (2022-10-19T11:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。