論文の概要: Controlling the Output of a Generative Model by Latent Feature Vector
Shifting
- arxiv url: http://arxiv.org/abs/2311.08850v2
- Date: Mon, 26 Feb 2024 19:34:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 21:48:42.087163
- Title: Controlling the Output of a Generative Model by Latent Feature Vector
Shifting
- Title(参考訳): 潜在特徴ベクトルシフトによる生成モデルの出力制御
- Authors: R\'obert Belanec, Peter Lacko, Krist\'ina Malinovsk\'a
- Abstract要約: 制御された出力画像修正のための遅延ベクトルシフトのための新しい手法を提案する。
提案手法では,リアルな人間の顔の画像を生成するStyleGAN3の事前学習モデルを用いている。
我々の潜在特徴シフト器は、生成モデルの潜在ベクトルを特定の特徴方向にシフトさせるタスクを備えたニューラルネットワークモデルである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: State-of-the-art generative models (e.g. StyleGAN3 \cite{karras2021alias})
often generate photorealistic images based on vectors sampled from their latent
space. However, the ability to control the output is limited. Here we present
our novel method for latent vector shifting for controlled output image
modification utilizing semantic features of the generated images. In our
approach we use a pre-trained model of StyleGAN3 that generates images of
realistic human faces in relatively high resolution. We complement the
generative model with a convolutional neural network classifier, namely
ResNet34, trained to classify the generated images with binary facial features
from the CelebA dataset. Our latent feature shifter is a neural network model
with a task to shift the latent vectors of a generative model into a specified
feature direction. We have trained latent feature shifter for multiple facial
features, and outperformed our baseline method in the number of generated
images with the desired feature. To train our latent feature shifter neural
network, we have designed a dataset of pairs of latent vectors with and without
a certain feature. Based on the evaluation, we conclude that our latent feature
shifter approach was successful in the controlled generation of the StyleGAN3
generator.
- Abstract(参考訳): 最先端生成モデル(例えばstylegan3 \cite{karras2021alias})は、しばしば潜在空間からサンプリングされたベクトルに基づいてフォトリアリスティックな画像を生成する。
しかし、出力を制御する能力は限られている。
本稿では,生成画像の意味的特徴を利用した制御出力画像修正のための潜在ベクトルシフト手法を提案する。
提案手法では,比較的高解像度で現実的な人間の顔の画像を生成するStyleGAN3の事前学習モデルを用いる。
本稿では,生成した画像をcelebaデータセットからバイナリな顔特徴で分類するように訓練した畳み込みニューラルネットワーク分類器resnet34を用いて生成モデルを補完する。
我々の潜在特徴シフト器は、生成モデルの潜在ベクトルを特定の特徴方向にシフトさせるタスクを備えたニューラルネットワークモデルである。
我々は,複数の顔特徴に対して潜在機能シフタを訓練し,所望の機能を持つ生成画像数においてベースライン法を上回った。
潜在機能シフターニューラルネットワークをトレーニングするために、特定の特徴の有無に関わらず、潜在ベクトルのペアのデータセットを設計しました。
評価の結果,我々は,StyleGAN3ジェネレータの制御生成において,潜在機能シフト器のアプローチが成功したと結論した。
関連論文リスト
- SARGAN: Spatial Attention-based Residuals for Facial Expression
Manipulation [1.7056768055368383]
本稿では,3つの視点から制限に対処するSARGANという新しい手法を提案する。
我々は対称エンコーダ・デコーダネットワークを利用して顔の特徴に複数スケールで対応した。
提案手法は最先端手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-03-30T08:15:18Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳(メタデータ) (2023-03-22T18:59:48Z) - 3D Generative Model Latent Disentanglement via Local Eigenprojection [13.713373496487012]
本稿では,3次元頭部および体メッシュの異なるニューラルネットワークに基づく生成モデルに対するスペクトル幾何学に基づく新しい損失関数を提案する。
実験結果から,我々の局所固有射影不整形(LED)モデルでは,最先端技術に対する不整形が改善されていることがわかった。
論文 参考訳(メタデータ) (2023-02-24T18:19:49Z) - 3DShape2VecSet: A 3D Shape Representation for Neural Fields and
Generative Diffusion Models [42.928400751670935]
3DShape2VecSetは、生成拡散モデルのために設計されたニューラルネットワークのための新しい形状表現である。
その結果,3次元形状符号化および3次元形状生成モデルタスクの性能が向上した。
論文 参考訳(メタデータ) (2023-01-26T22:23:03Z) - Generative Visual Prompt: Unifying Distributional Control of Pre-Trained
Generative Models [77.47505141269035]
Generative Visual Prompt (PromptGen) は、事前訓練された生成モデルの分散制御のためのフレームワークである。
PromptGenはエネルギーベースモデル(EBM)を近似し、フィードフォワード方式で画像をサンプリングする。
コードはhttps://github.com/ChenWu98/Generative-Visual-Prompt.comで入手できる。
論文 参考訳(メタデータ) (2022-09-14T22:55:18Z) - Training and Tuning Generative Neural Radiance Fields for
Attribute-Conditional 3D-Aware Face Generation [69.53142666853502]
GNeRF(Generative Neural Radiance Fields)をベースとした3次元GANは、高品質な画像を生成する際、顕著な能力を示した。
本稿では, 特定の属性ラベルを入力として組み込んだ条件付きGNeRFモデルを提案する。
論文 参考訳(メタデータ) (2022-08-26T10:05:39Z) - Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。
本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
論文 参考訳(メタデータ) (2022-08-03T16:46:08Z) - NeuralReshaper: Single-image Human-body Retouching with Deep Neural
Networks [50.40798258968408]
本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。
われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。
ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
論文 参考訳(メタデータ) (2022-03-20T09:02:13Z) - Regularising Inverse Problems with Generative Machine Learning Models [9.971351129098336]
逆問題に対する変分正規化手法における生成モデルの利用を検討する。
生成正規化の成功は生成モデルの品質に依存する。
生成モデルの能力に大きく依存することから, 生成器の精度に制限された解が, 生成器の精度に大きく依存していることが示唆された。
論文 参考訳(メタデータ) (2021-07-22T15:47:36Z) - Towards a Neural Graphics Pipeline for Controllable Image Generation [96.11791992084551]
ニューラルグラフパイプライン(NGP)は,ニューラルネットワークと従来の画像形成モデルを組み合わせたハイブリッド生成モデルである。
NGPは、画像を解釈可能な外観特徴マップの集合に分解し、制御可能な画像生成のための直接制御ハンドルを明らかにする。
単目的シーンの制御可能な画像生成におけるアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2020-06-18T14:22:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。