論文の概要: FlashFace: Human Image Personalization with High-fidelity Identity Preservation

• arxiv url: http://arxiv.org/abs/2403.17008v1
• Date: Mon, 25 Mar 2024 17:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 20:05:20.521666
• Title: FlashFace: Human Image Personalization with High-fidelity Identity Preservation
• Title（参考訳）: FlashFace: 高忠実度ID保存による人物画像のパーソナライズ
• Authors: Shilong Zhang, Lianghua Huang, Xi Chen, Yifei Zhang, Zhi-Fan Wu, Yutong Feng, Wei Wang, Yujun Shen, Yu Liu, Ping Luo,
• Abstract要約: FlashFaceを使うと、ユーザーは自分の写真を簡単にパーソナライズできる。 我々のアプローチは、高忠実度ID保存とより良い指示に従うことによって、既存の人間の写真カスタマイズ方法と区別できる。
• 参考スコア（独自算出の注目度）: 59.76645602354481
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work presents FlashFace, a practical tool with which users can easily personalize their own photos on the fly by providing one or a few reference face images and a text prompt. Our approach is distinguishable from existing human photo customization methods by higher-fidelity identity preservation and better instruction following, benefiting from two subtle designs. First, we encode the face identity into a series of feature maps instead of one image token as in prior arts, allowing the model to retain more details of the reference faces (e.g., scars, tattoos, and face shape ). Second, we introduce a disentangled integration strategy to balance the text and image guidance during the text-to-image generation process, alleviating the conflict between the reference faces and the text prompts (e.g., personalizing an adult into a "child" or an "elder"). Extensive experimental results demonstrate the effectiveness of our method on various applications, including human image personalization, face swapping under language prompts, making virtual characters into real people, etc. Project Page: https://jshilong.github.io/flashface-page.
• Abstract（参考訳）: FlashFaceは、ユーザーが自分の写真をリアルタイムで簡単にパーソナライズできる実用的なツールで、1つまたは数枚の参照顔画像とテキストプロンプトを提供する。 本手法は,2つの微妙なデザインの利点を生かして,高忠実度ID保存とより良い指示に従うことによる既存の人間の写真カスタマイズ手法と区別できる。 まず、先行技術のように、1つの画像トークンではなく、一連の特徴マップに顔のアイデンティティをエンコードし、参照顔の詳細(例えば、傷跡、入れ墨、顔の形)をモデルに保持する。 第2に,テキスト・ツー・イメージ生成過程におけるテキスト・イメージ誘導のバランスを保ち,参照顔とテキスト・プロンプト(例えば,大人を「子」や「子」にパーソナライズするなど)との衝突を緩和する統合戦略を導入する。 画像のパーソナライゼーション,言語プロンプトによる顔のスワップ,仮想キャラクタの実物化など,さまざまな用途における本手法の有効性を実験的に検証した。 Project Page: https://jshilong.github.io/flashface-page.com

関連論文リスト

• Arc2Face: A Foundation Model for ID-Consistent Human Faces [95.00331107591859]
  Arc2Faceは、ID条件のフェイスファンデーションモデルである。 既存のモデルと無矛盾の顔類似度で、多様なフォトリアリスティック画像を生成することができる。
  論文  参考訳（メタデータ） (2024-03-18T10:32:51Z)
• Face2Diffusion for Fast and Editable Face Personalization [33.65484538815936]
  顔のパーソナライズのためのFace2Diffusion(F2D)を提案する。 F2Dの背後にある中核的な考え方は、トレーニングパイプラインからアイデンティティ非関連情報を削除することで、オーバーフィッティングの問題を防ぐことである。 F2Dは以下の3つの新しい構成要素から構成される。
  論文  参考訳（メタデータ） (2024-03-08T06:46:01Z)
• StableIdentity: Inserting Anybody into Anywhere at First Sight [57.99693188913382]
  一つの顔画像で同一性に一貫性のある再テクスチャ化を可能にするStableIdentityを提案する。 私たちは、1つの画像から学んだアイデンティティを直接、微調整なしでビデオ/3D生成に注入する最初の人です。
  論文  参考訳（メタデータ） (2024-01-29T09:06:15Z)
• When StyleGAN Meets Stable Diffusion: a $\mathscr{W}_+$ Adapter for Personalized Image Generation [60.305112612629465]
  テキストと画像の拡散モデルは、多種多様で高品質でフォトリアリスティックな画像を生成するのに優れている。 本稿では,拡散モデルのための拡張されたアイデンティティ保存とアンタングル化を実現するために,StyleGAN 埋め込み空間 $mathcalW_+$ の新たな利用法を提案する。 提案手法は,即時記述に適合するだけでなく,一般的なスタイルGAN編集方向に対応可能なパーソナライズされたテキスト・ツー・イメージ出力を生成する。
  論文  参考訳（メタデータ） (2023-11-29T09:05:14Z)
• FaceChain: A Playground for Human-centric Artificial Intelligence Generated Content [36.48960592782015]
  FaceChainは、パーソナライズされたポートレート生成フレームワークで、一連のカスタマイズされた画像生成モデルと、顔に関連する知覚理解モデルの豊富なセットを組み合わせる。 我々は、複数のSOTAフェイスモデルを生成手順に注入し、従来のソリューションと比較して、より効率的なラベルタグ付け、データ処理、モデル後処理を実現する。 FaceChainをベースとして、仮想トライオンや2Dトーキングヘッドなど、その価値をよりよく示すための、より広いグラウンドを構築するためのいくつかのアプリケーションも開発しています。
  論文  参考訳（メタデータ） (2023-08-28T02:20:44Z)
• DreamIdentity: Improved Editability for Efficient Face-identity Preserved Image Generation [69.16517915592063]
  人間の顔の正確な表現を学習するための新しい顔識別エンコーダを提案する。 また、モデルの編集可能性を高めるために、自己拡張編集可能性学習を提案する。 我々の手法は、異なるシーン下でより高速にアイデンティティ保存された画像を生成することができる。
  論文  参考訳（メタデータ） (2023-07-01T11:01:17Z)
• S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation [11.724779328025589]
  本稿では,S2FGANと呼ばれるスケッチ・ツー・イメージ生成フレームワークを提案する。 我々は2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。 提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-11-30T13:42:39Z)
• Towards Face Encryption by Generating Adversarial Identity Masks [53.82211571716117]
  敵の識別マスクを生成するためのターゲットID保護反復法(TIP-IM)を提案する。 TIP-IMは、様々な最先端の顔認識モデルに対して95%以上の保護成功率を提供する。
  論文  参考訳（メタデータ） (2020-03-15T12:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。