論文の概要: CONFIG: Controllable Neural Face Image Generation
- arxiv url: http://arxiv.org/abs/2005.02671v3
- Date: Mon, 19 Oct 2020 10:13:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 05:06:08.688002
- Title: CONFIG: Controllable Neural Face Image Generation
- Title（参考訳）: CONFIG:制御可能なニューラルフェイス画像生成
- Authors: Marek Kowalski, Stephan J. Garbin, Virginia Estellers, Tadas
Baltru\v{s}aitis, Matthew Johnson, Jamie Shotton
- Abstract要約: ConfigNetは、出力画像の個々の側面を意味のある方法で制御できる、ニューラルフェイスモデルである。
提案手法では,合成データを用いて遅延空間を従来のレンダリングパイプラインの入力に対応する要素に分解する。
- 参考スコア（独自算出の注目度）: 10.443563719622645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Our ability to sample realistic natural images, particularly faces, has
advanced by leaps and bounds in recent years, yet our ability to exert
fine-tuned control over the generative process has lagged behind. If this new
technology is to find practical uses, we need to achieve a level of control
over generative networks which, without sacrificing realism, is on par with
that seen in computer graphics and character animation. To this end we propose
ConfigNet, a neural face model that allows for controlling individual aspects
of output images in semantically meaningful ways and that is a significant step
on the path towards finely-controllable neural rendering. ConfigNet is trained
on real face images as well as synthetic face renders. Our novel method uses
synthetic data to factorize the latent space into elements that correspond to
the inputs of a traditional rendering pipeline, separating aspects such as head
pose, facial expression, hair style, illumination, and many others which are
very hard to annotate in real data. The real images, which are presented to the
network without labels, extend the variety of the generated images and
encourage realism. Finally, we propose an evaluation criterion using an
attribute detection network combined with a user study and demonstrate
state-of-the-art individual control over attributes in the output images.
- Abstract（参考訳）: リアルな自然画像(特に顔)をサンプリングする能力は、近年飛躍的に向上していますが、生成プロセスに対する微調整された制御能力は遅れています。
この新技術が実用性を見出すためには、現実性を犠牲にすることなく、コンピュータグラフィックスやキャラクターアニメーションで見られるものと同等の、生成ネットワークのレベルの制御を実現する必要がある。
この目的のために、我々は、意味的に意味のある方法で出力画像の個々の側面を制御できるニューラルフェイスモデルであるConfigNetを提案し、それは、きめ細かい制御が可能なニューラルレンダリングへの道のりの重要なステップである。
ConfigNetは、実際の顔イメージと合成顔レンダリングに基づいてトレーニングされている。
提案手法は,合成データを用いて従来のレンダリングパイプラインの入力に対応する要素に分解し,頭部ポーズ,表情,ヘアスタイル,照明など,実際のデータに注釈を付けるのが非常に難しい要素を分離する。
ラベルのないネットワークに提示される実際の画像は、生成された画像の種類を拡張し、リアリズムを促進する。
最後に,属性検出ネットワークとユーザスタディを組み合わせた評価基準を提案し,出力画像の属性に対する最先端の個別制御を実証する。
関連論文リスト
- PUG: Photorealistic and Semantically Controllable Synthetic Data for
Representation Learning [31.81199165450692]
制御性とリアリズムを両立する表現学習研究のための対話型環境を新たに提案する。
エンターテイメント業界で有名な強力なゲームエンジンであるUnreal Engineを使用して、表現学習のためのPUG環境とデータセットを生成します。
論文 参考訳（メタデータ） (2023-08-08T01:33:13Z) - SARGAN: Spatial Attention-based Residuals for Facial Expression
Manipulation [1.7056768055368383]
本稿では,3つの視点から制限に対処するSARGANという新しい手法を提案する。
我々は対称エンコーダ・デコーダネットワークを利用して顔の特徴に複数スケールで対応した。
提案手法は最先端手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-03-30T08:15:18Z) - ImaginaryNet: Learning Object Detectors without Real Images and
Annotations [66.30908705345973]
本稿では,事前学習された言語モデルとテキスト・ツー・イメージモデルを組み合わせた画像合成フレームワークを提案する。
合成画像とクラスラベルを使用することで、弱い教師付きオブジェクト検出を利用してImaginary-Supervised Object Detectionを実現できる。
実験により、ImaginaryNetは、実際のデータに基づいてトレーニングされた同じバックボーンの弱い監督を受けたものと比較して、ISODで約70%の性能が得られることが示された。
論文 参考訳（メタデータ） (2022-10-13T10:25:22Z) - 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。
このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
論文 参考訳（メタデータ） (2022-09-15T15:28:45Z) - Realistic Full-Body Anonymization with Surface-Guided GANs [7.37907896341367]
In-the-wild画像のためのリアルな人間を生成する新しい匿名化手法を提案する。
我々の設計の鍵となる部分は、画像と正準3次元表面との間の高密度画素対面対応により、対向ネットを誘導することである。
表面誘導は画像品質とサンプルの多様性を著しく改善し、非常に実用的なジェネレータが得られることを示した。
論文 参考訳（メタデータ） (2022-01-06T18:57:59Z) - VariTex: Variational Neural Face Textures [0.0]
VariTexは、ニューラルフェイステクスチャの変動潜在特徴空間を学習する手法である。
頭部の完全な画像を生成するために,毛髪などの正確な詳細情報を生成する付加デコーダを提案する。
その結果、顔のポーズ、顔の形状、表情の微粒度を制御できる新しいアイデンティティの幾何学的に一貫性のある画像を生成することができる。
論文 参考訳（メタデータ） (2021-04-13T07:47:53Z) - Style and Pose Control for Image Synthesis of Humans from a Single
Monocular View [78.6284090004218]
StylePoseGANは、ポーズと外観のコンディショニングを別々に受け入れる非制御発電機です。
我々のネットワークは、人間のイメージで完全に教師された方法で訓練され、ポーズ、外観、体の部分を切り離すことができる。
StylePoseGANは、一般的な知覚メトリクスで最新の画像生成忠実度を実現します。
論文 参考訳（メタデータ） (2021-02-22T18:50:47Z) - Generating Person Images with Appearance-aware Pose Stylizer [66.44220388377596]
本稿では,人物のポーズや外見に基づいてリアルな人物画像を生成する,新しいエンドツーエンドフレームワークを提案する。
本フレームワークのコアとなるのは、ターゲットポーズと条件付き人物の外観を段階的に結合して人体画像を生成する、APS(Appearance-aware Pose Stylizer)と呼ばれる新しいジェネレータである。
論文 参考訳（メタデータ） (2020-07-17T15:58:05Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳（メタデータ） (2020-06-29T12:53:58Z) - Learning Inverse Rendering of Faces from Real-world Videos [52.313931830408386]
既存の方法は、顔画像を3つの構成要素(アルベド、ノーマル、照明)に分解する。
本稿では,アルベドと正常の整合性の仮定に基づいて,我々のモデルを実顔ビデオでトレーニングするための弱い教師付きトレーニング手法を提案する。
私たちのネットワークは、実データと合成データの両方で訓練されています。
論文 参考訳（メタデータ） (2020-03-26T17:26:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。