論文の概要: Arc2Face: A Foundation Model of Human Faces

• arxiv url: http://arxiv.org/abs/2403.11641v1
• Date: Mon, 18 Mar 2024 10:32:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 15:47:44.291673
• Title: Arc2Face: A Foundation Model of Human Faces
• Title（参考訳）: Arc2Face: 人間の顔の基礎モデル
• Authors: Foivos Paraperas Papantoniou, Alexandros Lattas, Stylianos Moschoglou, Jiankang Deng, Bernhard Kainz, Stefanos Zafeiriou,
• Abstract要約: Arc2Faceは、ID条件のフェイスファンデーションモデルである。 既存のモデルと無矛盾の顔類似度で、多様なフォトリアリスティック画像を生成することができる。
• 参考スコア（独自算出の注目度）: 95.00331107591859
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents Arc2Face, an identity-conditioned face foundation model, which, given the ArcFace embedding of a person, can generate diverse photo-realistic images with an unparalleled degree of face similarity than existing models. Despite previous attempts to decode face recognition features into detailed images, we find that common high-resolution datasets (e.g. FFHQ) lack sufficient identities to reconstruct any subject. To that end, we meticulously upsample a significant portion of the WebFace42M database, the largest public dataset for face recognition (FR). Arc2Face builds upon a pretrained Stable Diffusion model, yet adapts it to the task of ID-to-face generation, conditioned solely on ID vectors. Deviating from recent works that combine ID with text embeddings for zero-shot personalization of text-to-image models, we emphasize on the compactness of FR features, which can fully capture the essence of the human face, as opposed to hand-crafted prompts. Crucially, text-augmented models struggle to decouple identity and text, usually necessitating some description of the given face to achieve satisfactory similarity. Arc2Face, however, only needs the discriminative features of ArcFace to guide the generation, offering a robust prior for a plethora of tasks where ID consistency is of paramount importance. As an example, we train a FR model on synthetic images from our model and achieve superior performance to existing synthetic datasets.
• Abstract（参考訳）: 本稿では,身元条件付き顔基礎モデルであるArc2Faceを提案する。 顔認識機能を詳細な画像にデコードする以前の試みにもかかわらず、一般的な高解像度データセット(例えばFFHQ)には、対象を再構築するのに十分なアイデンティティがないことが判明した。 そのために、私たちは、顔認識(FR)のための最大のパブリックデータセットであるWebFace42Mデータベースのかなりの部分を慎重にアップサンプする。 Arc2Faceはトレーニング済みの安定拡散モデルに基づいて構築されるが、IDベクトルにのみ条件付きでID-対面生成のタスクに適応する。 テキスト・ツー・イメージ・モデルのゼロショットパーソナライズのためのIDとテキスト埋め込みを組み合わせた最近の研究から、手作りのプロンプトとは対照的に、人間の顔の本質を完全に捉えることのできるFR特徴のコンパクト性を強調した。 重要なことに、テキスト拡張モデルはアイデンティティとテキストを分離するのに苦労し、通常、満足のいく類似性を達成するために与えられた顔のいくつかの記述を必要とする。 しかし、Arc2Faceは生成を導くためにArcFaceの差別的な機能しか必要とせず、ID一貫性が最重要事項である多数のタスクに対して堅牢な事前機能を提供する。 例えば、我々のモデルから合成画像上でFRモデルを訓練し、既存の合成データセットよりも優れた性能を達成する。

関連論文リスト

• ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
  ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。 前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
  論文  参考訳（メタデータ） (2024-05-26T13:36:45Z)
• FlashFace: Human Image Personalization with High-fidelity Identity Preservation [59.76645602354481]
  FlashFaceを使うと、ユーザーは自分の写真を簡単にパーソナライズできる。 我々のアプローチは、高忠実度ID保存とより良い指示に従うことによって、既存の人間の写真カスタマイズ方法と区別できる。
  論文  参考訳（メタデータ） (2024-03-25T17:59:57Z)
• VIGFace: Virtual Identity Generation Model for Face Image Synthesis [13.81887339529775]
  合成顔画像を生成する新しいフレームワークであるVIGFaceを提案する。 肖像画の権利を気にすることなく、仮想顔画像を作成することができる。 既存のイメージを組み込んだ効果的な拡張手法として機能する。
  論文  参考訳（メタデータ） (2024-03-13T06:11:41Z)
• Beyond Inserting: Learning Identity Embedding for Semantic-Fidelity Personalized Diffusion Generation [21.739328335601716]
  本稿では,パーソナライズされた生成のための安定拡散モデルに,正確でインタラクティブなIDを挿入することに焦点を当てる。 顔のレイアウトや背景などのIDに依存しない情報を絡み合わせるのではなく、顔領域にフィットする顔の注意損失を提案する。 その結果,従来の手法と比較して,IDの精度,テキストベースの操作能力,一般化性が向上した。
  論文  参考訳（メタデータ） (2024-01-31T11:52:33Z)
• FaceChain: A Playground for Human-centric Artificial Intelligence Generated Content [36.48960592782015]
  FaceChainは、パーソナライズされたポートレート生成フレームワークで、一連のカスタマイズされた画像生成モデルと、顔に関連する知覚理解モデルの豊富なセットを組み合わせる。 我々は、複数のSOTAフェイスモデルを生成手順に注入し、従来のソリューションと比較して、より効率的なラベルタグ付け、データ処理、モデル後処理を実現する。 FaceChainをベースとして、仮想トライオンや2Dトーキングヘッドなど、その価値をよりよく示すための、より広いグラウンドを構築するためのいくつかのアプリケーションも開発しています。
  論文  参考訳（メタデータ） (2023-08-28T02:20:44Z)
• DCFace: Synthetic Face Generation with Dual Condition Diffusion Model [18.662943303044315]
  本稿では拡散モデルに基づくDCFace(Dual Condition Face Generator)を提案する。 われわれの新しいPatch-wiseスタイル抽出器と時間ステップ依存ID損失により、DCFaceは、同じ対象の顔画像を、正確に制御された異なるスタイルで一貫して生成することができる。
  論文  参考訳（メタデータ） (2023-04-14T11:31:49Z)
• Learning Disentangled Representation for One-shot Progressive Face Swapping [65.98684203654908]
  ジェネレーティブ・アドバーサリアル・ネットワークに基づくワンショット・フェイススワップのためのシンプルで効率的なFaceSwapperを提案する。 提案手法は,不整合表現モジュールと意味誘導融合モジュールから構成される。 その結果,本手法は,トレーニングサンプルの少ないベンチマークで最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-24T11:19:04Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• DotFAN: A Domain-transferred Face Augmentation Network for Pose and Illumination Invariant Face Recognition [94.96686189033869]
  本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。 DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。 実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
  論文  参考訳（メタデータ） (2020-02-23T08:16:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。