論文の概要: Turn That Frown Upside Down: FaceID Customization via Cross-Training Data

• arxiv url: http://arxiv.org/abs/2501.15407v1
• Date: Sun, 26 Jan 2025 05:27:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 14:00:05.739888
• Title: Turn That Frown Upside Down: FaceID Customization via Cross-Training Data
• Title（参考訳）: FaceIDのカスタマイズは、クロストレーニングデータを使って行う
• Authors: Shuhe Wang, Xiaoya Li, Xiaofei Sun, Guoyin Wang, Tianwei Zhang, Jiwei Li, Eduard Hovy,
• Abstract要約: CrossFaceIDは、FaceIDカスタマイズモデルの顔修正機能を改善するために設計された、最初の大規模で高品質で公開可能なデータセットである。 約2000人から4万対のテキスト画像で構成され、それぞれが顔の特徴を示す約20の画像で表現されている。 トレーニング段階では、人物の特定の顔が入力として使用され、FaceIDカスタマイズモデルは、同一人物の別の画像を生成することを余儀なくされるが、顔の特徴が変化している。 実験により、CrossFaceIDデータセットに微調整されたモデルが、FaceIDの忠実性を保ちながら、その性能を著しく向上することが示された。
• 参考スコア（独自算出の注目度）: 49.51940625552275
• License:
• Abstract: Existing face identity (FaceID) customization methods perform well but are limited to generating identical faces as the input, while in real-world applications, users often desire images of the same person but with variations, such as different expressions (e.g., smiling, angry) or angles (e.g., side profile). This limitation arises from the lack of datasets with controlled input-output facial variations, restricting models' ability to learn effective modifications. To address this issue, we propose CrossFaceID, the first large-scale, high-quality, and publicly available dataset specifically designed to improve the facial modification capabilities of FaceID customization models. Specifically, CrossFaceID consists of 40,000 text-image pairs from approximately 2,000 persons, with each person represented by around 20 images showcasing diverse facial attributes such as poses, expressions, angles, and adornments. During the training stage, a specific face of a person is used as input, and the FaceID customization model is forced to generate another image of the same person but with altered facial features. This allows the FaceID customization model to acquire the ability to personalize and modify known facial features during the inference stage. Experiments show that models fine-tuned on the CrossFaceID dataset retain its performance in preserving FaceID fidelity while significantly improving its face customization capabilities. To facilitate further advancements in the FaceID customization field, our code, constructed datasets, and trained models are fully available to the public.
• Abstract（参考訳）: 既存の顔認証(FaceID)のカスタマイズ手法は、動作は良好だが、入力と同一の顔しか生成できないが、現実のアプリケーションでは、ユーザーは、同じ人物のイメージを欲しがるが、異なる表現(例えば、笑顔、怒り)やアングル(例えば、サイドプロファイル)など、バリエーションがある。 この制限は、制御された入力出力の顔のバリエーションを持つデータセットの欠如から生じ、モデルが効果的な修正を学習する能力を制限する。 この問題に対処するために、私たちは、FaceIDカスタマイズモデルの顔修正機能を改善するために特別に設計された、最初の大規模で高品質で公開可能なデータセットであるCrossFaceIDを提案する。 具体的には、CrossFaceIDは、約2000人の人物から4万枚のテキストイメージで構成され、各人物は、ポーズ、表情、角度、装飾など、さまざまな顔の特徴を示す約20のイメージで表現される。 トレーニング段階では、人物の特定の顔が入力として使用され、FaceIDカスタマイズモデルは、同一人物の別の画像を生成することを余儀なくされるが、顔の特徴が変化している。 これにより、FaceIDカスタマイズモデルは、推論段階で既知の顔の特徴をパーソナライズし、修正する機能を取得することができる。 実験によると、CrossFaceIDデータセットに微調整されたモデルは、FaceIDの忠実さを保ちながら、顔のカスタマイズ能力を著しく改善している。 FaceIDカスタマイズのさらなる進歩を促進するため、コード、構築されたデータセット、トレーニングされたモデルなどが一般公開されています。

関連論文リスト

• Face Anonymization Made Simple [44.24233169815565]
  現在の顔の匿名化技術は、しばしば、不正確で信頼性の低い顔認識モデルによって計算されたアイデンティティ損失に依存する。 対照的に,本手法では再建損失のみを伴う拡散モデルを用いて,顔のランドマークやマスクの必要性を排除している。 本モデルは,アイデンティティの匿名化,顔の保存,画質の3つの重要な領域において,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-11-01T17:45:21Z)
• FaceChain-FACT: Face Adapter with Decoupled Training for Identity-preserved Personalization [24.600720169589334]
  アダプタベースの手法は、顔データに対するテキスト・ツー・イメージのトレーニングによって、肖像画をカスタマイズし、生成する能力を得る。 ベースモデルと比較して、テスト後の能力、制御性、生成した顔の多様性が著しく低下することが多い。 我々は、モデルアーキテクチャとトレーニング戦略の両方に焦点を当てた、非結合トレーニング(FACT)フレームワークによるFace Adapterを提案する。
  論文  参考訳（メタデータ） (2024-10-16T07:25:24Z)
• FlashFace: Human Image Personalization with High-fidelity Identity Preservation [59.76645602354481]
  FlashFaceを使うと、ユーザーは自分の写真を簡単にパーソナライズできる。 我々のアプローチは、高忠実度ID保存とより良い指示に従うことによって、既存の人間の写真カスタマイズ方法と区別できる。
  論文  参考訳（メタデータ） (2024-03-25T17:59:57Z)
• StableIdentity: Inserting Anybody into Anywhere at First Sight [57.99693188913382]
  一つの顔画像で同一性に一貫性のある再テクスチャ化を可能にするStableIdentityを提案する。 私たちは、1つの画像から学んだアイデンティティを直接、微調整なしでビデオ/3D生成に注入する最初の人です。
  論文  参考訳（メタデータ） (2024-01-29T09:06:15Z)
• FaceChain: A Playground for Human-centric Artificial Intelligence Generated Content [36.48960592782015]
  FaceChainは、パーソナライズされたポートレート生成フレームワークで、一連のカスタマイズされた画像生成モデルと、顔に関連する知覚理解モデルの豊富なセットを組み合わせる。 我々は、複数のSOTAフェイスモデルを生成手順に注入し、従来のソリューションと比較して、より効率的なラベルタグ付け、データ処理、モデル後処理を実現する。 FaceChainをベースとして、仮想トライオンや2Dトーキングヘッドなど、その価値をよりよく示すための、より広いグラウンドを構築するためのいくつかのアプリケーションも開発しています。
  論文  参考訳（メタデータ） (2023-08-28T02:20:44Z)
• DreamIdentity: Improved Editability for Efficient Face-identity Preserved Image Generation [69.16517915592063]
  人間の顔の正確な表現を学習するための新しい顔識別エンコーダを提案する。 また、モデルの編集可能性を高めるために、自己拡張編集可能性学習を提案する。 我々の手法は、異なるシーン下でより高速にアイデンティティ保存された画像を生成することができる。
  論文  参考訳（メタデータ） (2023-07-01T11:01:17Z)
• A Systematical Solution for Face De-identification [6.244117712209321]
  異なるタスクにおいて、人々は顔の特定(De-ID)に様々な要件を持つ 本稿では,これらのDe-ID操作に適合する系統的解を提案する。 本手法は,様々な方法で顔データを柔軟に識別し,画像の画質が向上する。
  論文  参考訳（メタデータ） (2021-07-19T02:02:51Z)
• FedFace: Collaborative Learning of Face Recognition Model [66.84737075622421]
  FedFaceは顔認識モデルの協調学習のためのフレームワークである。 各クライアントに格納された顔画像が、他のクライアントや中央ホストと共有されない、正確で汎用的な顔認識モデルを学ぶ。 コードとトレーニング済みモデルは公開される予定です。
  論文  参考訳（メタデータ） (2021-04-07T09:25:32Z)
• DotFAN: A Domain-transferred Face Augmentation Network for Pose and Illumination Invariant Face Recognition [94.96686189033869]
  本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。 DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。 実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
  論文  参考訳（メタデータ） (2020-02-23T08:16:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。