論文の概要: FaceChain: A Playground for Identity-Preserving Portrait Generation
- arxiv url: http://arxiv.org/abs/2308.14256v1
- Date: Mon, 28 Aug 2023 02:20:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 15:54:57.629900
- Title: FaceChain: A Playground for Identity-Preserving Portrait Generation
- Title（参考訳）: FaceChain: アイデンティティを保存するポートレート生成のためのプレイグラウンド
- Authors: Yang Liu, Cheng Yu, Lei Shang, Ziheng Wu, Xingjun Wang, Yuze Zhao, Lin
Zhu, Chen Cheng, Weitao Chen, Chao Xu, Haoyu Xie, Yuan Yao, Wenmeng Zhou,
Yingda Chen, Xuansong Xie, Baigui Sun
- Abstract要約: FaceChainは、パーソナライズされたポートレート生成フレームワークで、一連のカスタマイズされた画像生成モデルと、顔に関連する知覚理解モデルの豊富なセットを組み合わせる。
我々は、複数のSOTAフェイスモデルを生成手順に注入し、従来のソリューションと比較して、より効率的なラベルタグ付け、データ処理、モデル後処理を実現する。
- 参考スコア（独自算出の注目度）: 34.20998697885902
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancement in personalized image generation have unveiled the
intriguing capability of pre-trained text-to-image models on learning identity
information from a collection of portrait images. However, existing solutions
can be vulnerable in producing truthful details, and usually suffer from
several defects such as (i) The generated face exhibit its own unique
characteristics, \ie facial shape and facial feature positioning may not
resemble key characteristics of the input, and (ii) The synthesized face may
contain warped, blurred or corrupted regions. In this paper, we present
FaceChain, a personalized portrait generation framework that combines a series
of customized image-generation model and a rich set of face-related perceptual
understanding models (\eg, face detection, deep face embedding extraction, and
facial attribute recognition), to tackle aforementioned challenges and to
generate truthful personalized portraits, with only a handful of portrait
images as input. Concretely, we inject several SOTA face models into the
generation procedure, achieving a more efficient label-tagging,
data-processing, and model post-processing compared to previous solutions, such
as DreamBooth ~\cite{ruiz2023dreambooth} , InstantBooth
~\cite{shi2023instantbooth} , or other LoRA-only approaches ~\cite{hu2021lora}
. Through the development of FaceChain, we have identified several potential
directions to accelerate development of Face/Human-Centric AIGC research and
application. We have designed FaceChain as a framework comprised of pluggable
components that can be easily adjusted to accommodate different styles and
personalized needs. We hope it can grow to serve the burgeoning needs from the
communities. FaceChain is open-sourced under Apache-2.0 license at
\url{https://github.com/modelscope/facechain}.
- Abstract（参考訳）: 最近のパーソナライズ画像生成の進歩により、肖像画画像の集合から身元情報を学ぶための事前学習されたテキストから画像へのモデルの興味をそそる能力が明らかになった。
しかし、既存のソリューションは真に詳しい情報を生み出すのに脆弱であり、通常いくつかの欠陥に悩まされる。
(i)生成した顔は独自の特徴を有しており、顔の形状や顔の特徴位置が入力のキー特性に似ていない場合がある。
(ii)合成顔は、反り、ぼやけたり、腐敗した領域を含むことができる。
本稿では、一連のカスタマイズされた画像生成モデルと、顔検出、深層顔埋め込み抽出、顔属性認識などの顔関連理解モデルを組み合わせた、パーソナライズされたポートレート生成フレームワークFaceChainを紹介し、上記の課題に対処し、少数のポートレートイメージを入力として、真にパーソナライズされたポートレートを生成する。
具体的には、複数のSOTAフェースモデルを生成手順に注入し、DreamBooth ~\cite{ruiz2023dreambooth} 、InstantBooth ~\cite{shi2023instantbooth} 、その他のLoRAのみのアプローチ ~\cite{hu2021lora} といった従来のソリューションと比較して、より効率的なラベルタグ付け、データ処理、モデル後処理を実現する。
FaceChainの開発を通じて、我々はFace/Human-Centric AIGC研究および応用の開発を加速するためのいくつかの潜在的方向を特定した。
私たちは、様々なスタイルやパーソナライズされたニーズに合わせて容易に調整できるプラグイン可能なコンポーネントで構成されるフレームワークとして、FaceChainを設計しました。
コミュニティの急成長するニーズに応えられるように成長できることを願っています。
facechainは、apache-2.0ライセンス下で、 \url{https://github.com/modelscope/facechain}でオープンソースである。
関連論文リスト
- OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
拡散モデルは、顔の修復において顕著な性能を示した。
顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。
その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
論文 参考訳（メタデータ） (2024-11-26T07:07:48Z) - Face Anonymization Made Simple [44.24233169815565]
現在の顔の匿名化技術は、しばしば、不正確で信頼性の低い顔認識モデルによって計算されたアイデンティティ損失に依存する。
対照的に,本手法では再建損失のみを伴う拡散モデルを用いて,顔のランドマークやマスクの必要性を排除している。
本モデルは,アイデンティティの匿名化,顔の保存,画質の3つの重要な領域において,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-11-01T17:45:21Z) - Single Image, Any Face: Generalisable 3D Face Generation [59.9369171926757]
我々は,制約のない単一画像入力を伴う3次元顔を生成する新しいモデルGen3D-Faceを提案する。
私たちの知る限りでは、これは1枚の画像からフォトリアリスティックな3D顔アバターを作るための最初の試みであり、ベンチマークである。
論文 参考訳（メタデータ） (2024-09-25T14:56:37Z) - GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - FlashFace: Human Image Personalization with High-fidelity Identity Preservation [59.76645602354481]
FlashFaceを使うと、ユーザーは自分の写真を簡単にパーソナライズできる。
我々のアプローチは、高忠実度ID保存とより良い指示に従うことによって、既存の人間の写真カスタマイズ方法と区別できる。
論文 参考訳（メタデータ） (2024-03-25T17:59:57Z) - Arc2Face: A Foundation Model for ID-Consistent Human Faces [95.00331107591859]
Arc2Faceは、ID条件のフェイスファンデーションモデルである。
既存のモデルと無矛盾の顔類似度で、多様なフォトリアリスティック画像を生成することができる。
論文 参考訳（メタデータ） (2024-03-18T10:32:51Z) - VIGFace: Virtual Identity Generation Model for Face Image Synthesis [13.81887339529775]
合成顔画像を生成する新しいフレームワークであるVIGFaceを提案する。
肖像画の権利を気にすることなく、仮想顔画像を作成することができる。
既存のイメージを組み込んだ効果的な拡張手法として機能する。
論文 参考訳（メタデータ） (2024-03-13T06:11:41Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T03:10:17Z) - VariTex: Variational Neural Face Textures [0.0]
VariTexは、ニューラルフェイステクスチャの変動潜在特徴空間を学習する手法である。
頭部の完全な画像を生成するために,毛髪などの正確な詳細情報を生成する付加デコーダを提案する。
その結果、顔のポーズ、顔の形状、表情の微粒度を制御できる新しいアイデンティティの幾何学的に一貫性のある画像を生成することができる。
論文 参考訳（メタデータ） (2021-04-13T07:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。