論文の概要: FaceChain: A Playground for Identity-Preserving Portrait Generation
- arxiv url: http://arxiv.org/abs/2308.14256v1
- Date: Mon, 28 Aug 2023 02:20:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 15:54:57.629900
- Title: FaceChain: A Playground for Identity-Preserving Portrait Generation
- Title(参考訳): FaceChain: アイデンティティを保存するポートレート生成のためのプレイグラウンド
- Authors: Yang Liu, Cheng Yu, Lei Shang, Ziheng Wu, Xingjun Wang, Yuze Zhao, Lin
Zhu, Chen Cheng, Weitao Chen, Chao Xu, Haoyu Xie, Yuan Yao, Wenmeng Zhou,
Yingda Chen, Xuansong Xie, Baigui Sun
- Abstract要約: FaceChainは、パーソナライズされたポートレート生成フレームワークで、一連のカスタマイズされた画像生成モデルと、顔に関連する知覚理解モデルの豊富なセットを組み合わせる。
我々は、複数のSOTAフェイスモデルを生成手順に注入し、従来のソリューションと比較して、より効率的なラベルタグ付け、データ処理、モデル後処理を実現する。
- 参考スコア(独自算出の注目度): 34.20998697885902
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancement in personalized image generation have unveiled the
intriguing capability of pre-trained text-to-image models on learning identity
information from a collection of portrait images. However, existing solutions
can be vulnerable in producing truthful details, and usually suffer from
several defects such as (i) The generated face exhibit its own unique
characteristics, \ie facial shape and facial feature positioning may not
resemble key characteristics of the input, and (ii) The synthesized face may
contain warped, blurred or corrupted regions. In this paper, we present
FaceChain, a personalized portrait generation framework that combines a series
of customized image-generation model and a rich set of face-related perceptual
understanding models (\eg, face detection, deep face embedding extraction, and
facial attribute recognition), to tackle aforementioned challenges and to
generate truthful personalized portraits, with only a handful of portrait
images as input. Concretely, we inject several SOTA face models into the
generation procedure, achieving a more efficient label-tagging,
data-processing, and model post-processing compared to previous solutions, such
as DreamBooth ~\cite{ruiz2023dreambooth} , InstantBooth
~\cite{shi2023instantbooth} , or other LoRA-only approaches ~\cite{hu2021lora}
. Through the development of FaceChain, we have identified several potential
directions to accelerate development of Face/Human-Centric AIGC research and
application. We have designed FaceChain as a framework comprised of pluggable
components that can be easily adjusted to accommodate different styles and
personalized needs. We hope it can grow to serve the burgeoning needs from the
communities. FaceChain is open-sourced under Apache-2.0 license at
\url{https://github.com/modelscope/facechain}.
- Abstract(参考訳): 最近のパーソナライズ画像生成の進歩により、肖像画画像の集合から身元情報を学ぶための事前学習されたテキストから画像へのモデルの興味をそそる能力が明らかになった。
しかし、既存のソリューションは真に詳しい情報を生み出すのに脆弱であり、通常いくつかの欠陥に悩まされる。
(i)生成した顔は独自の特徴を有しており、顔の形状や顔の特徴位置が入力のキー特性に似ていない場合がある。
(ii)合成顔は、反り、ぼやけたり、腐敗した領域を含むことができる。
本稿では、一連のカスタマイズされた画像生成モデルと、顔検出、深層顔埋め込み抽出、顔属性認識などの顔関連理解モデルを組み合わせた、パーソナライズされたポートレート生成フレームワークFaceChainを紹介し、上記の課題に対処し、少数のポートレートイメージを入力として、真にパーソナライズされたポートレートを生成する。
具体的には、複数のSOTAフェースモデルを生成手順に注入し、DreamBooth ~\cite{ruiz2023dreambooth} 、InstantBooth ~\cite{shi2023instantbooth} 、その他のLoRAのみのアプローチ ~\cite{hu2021lora} といった従来のソリューションと比較して、より効率的なラベルタグ付け、データ処理、モデル後処理を実現する。
FaceChainの開発を通じて、我々はFace/Human-Centric AIGC研究および応用の開発を加速するためのいくつかの潜在的方向を特定した。
私たちは、様々なスタイルやパーソナライズされたニーズに合わせて容易に調整できるプラグイン可能なコンポーネントで構成されるフレームワークとして、FaceChainを設計しました。
コミュニティの急成長するニーズに応えられるように成長できることを願っています。
facechainは、apache-2.0ライセンス下で、 \url{https://github.com/modelscope/facechain}でオープンソースである。
関連論文リスト
- FlashFace: Human Image Personalization with High-fidelity Identity Preservation [59.76645602354481]
FlashFaceを使うと、ユーザーは自分の写真を簡単にパーソナライズできる。
我々のアプローチは、高忠実度ID保存とより良い指示に従うことによって、既存の人間の写真カスタマイズ方法と区別できる。
論文 参考訳(メタデータ) (2024-03-25T17:59:57Z) - Arc2Face: A Foundation Model of Human Faces [95.00331107591859]
Arc2Faceは、ID条件のフェイスファンデーションモデルである。
既存のモデルと無矛盾の顔類似度で、多様なフォトリアリスティック画像を生成することができる。
論文 参考訳(メタデータ) (2024-03-18T10:32:51Z) - VIGFace: Virtual Identity Generation Model for Face Image Synthesis [13.81887339529775]
合成顔画像を生成する新しいフレームワークであるVIGFaceを提案する。
肖像画の権利を気にすることなく、仮想顔画像を作成することができる。
既存のイメージを組み込んだ効果的な拡張手法として機能する。
論文 参考訳(メタデータ) (2024-03-13T06:11:41Z) - DreamIdentity: Improved Editability for Efficient Face-identity
Preserved Image Generation [69.16517915592063]
人間の顔の正確な表現を学習するための新しい顔識別エンコーダを提案する。
また、モデルの編集可能性を高めるために、自己拡張編集可能性学習を提案する。
我々の手法は、異なるシーン下でより高速にアイデンティティ保存された画像を生成することができる。
論文 参考訳(メタデータ) (2023-07-01T11:01:17Z) - Graph-based Generative Face Anonymisation with Pose Preservation [49.18049578591058]
AnonyGANは、顔の匿名化のためのGANベースのソリューションである。
ソースアイデンティティに対応する視覚情報を、任意の単一のイメージとして提供される条件IDに置き換える。
論文 参考訳(メタデータ) (2021-12-10T12:58:17Z) - FaceEraser: Removing Facial Parts for Augmented Reality [10.575917056215289]
私たちの仕事は、すべての顔部分を取り除き、拡張現実のために空白の顔に視覚的要素を課すことです。
本研究では,空白の顔によく似通ったペアトレーニングデータを生成する新しいデータ生成手法を提案する。
提案手法は商用製品に統合され,その有効性は制約のないユーザ入力で検証されている。
論文 参考訳(メタデータ) (2021-09-22T14:30:12Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T03:10:17Z) - Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。
私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
論文 参考訳(メタデータ) (2021-05-31T02:30:11Z) - VariTex: Variational Neural Face Textures [0.0]
VariTexは、ニューラルフェイステクスチャの変動潜在特徴空間を学習する手法である。
頭部の完全な画像を生成するために,毛髪などの正確な詳細情報を生成する付加デコーダを提案する。
その結果、顔のポーズ、顔の形状、表情の微粒度を制御できる新しいアイデンティティの幾何学的に一貫性のある画像を生成することができる。
論文 参考訳(メタデータ) (2021-04-13T07:47:53Z) - Realistic Face Reenactment via Self-Supervised Disentangling of Identity
and Pose [23.211318473026243]
本研究では,大量の未収録映像を自然に再現する自己教師型ハイブリッドモデル(DAE-GAN)を提案する。
提案手法は,2つのデフォーミングオートエンコーダと条件生成の最新の進歩を組み合わせたものである。
実験の結果,再現された画像の良好な品質と,同一性間での顔の動きの伝達の柔軟性が示された。
論文 参考訳(メタデータ) (2020-03-29T06:45:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。