論文の概要: DualVAE: Controlling Colours of Generated and Real Images
- arxiv url: http://arxiv.org/abs/2305.18769v1
- Date: Tue, 30 May 2023 06:04:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 17:58:10.184836
- Title: DualVAE: Controlling Colours of Generated and Real Images
- Title(参考訳): DualVAE: 生成画像と実画像の色を制御
- Authors: Keerth Rathakumar, David Liebowitz, Christian Walder, Kristen Moore,
Salil S. Kanhere
- Abstract要約: 色と幾何学の非交叉表現を学習して制御するハイブリッド表現モデルであるDualVAEを紹介する。
我々は、DualVAEが、多様なデータセットのコレクションにおいて、VQ-GANよりも2倍近いFID画像を生成することを示した。
- 参考スコア(独自算出の注目度): 8.435437620425443
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Colour controlled image generation and manipulation are of interest to
artists and graphic designers. Vector Quantised Variational AutoEncoders
(VQ-VAEs) with autoregressive (AR) prior are able to produce high quality
images, but lack an explicit representation mechanism to control colour
attributes. We introduce DualVAE, a hybrid representation model that provides
such control by learning disentangled representations for colour and geometry.
The geometry is represented by an image intensity mapping that identifies
structural features. The disentangled representation is obtained by two novel
mechanisms:
(i) a dual branch architecture that separates image colour attributes from
geometric attributes, and (ii) a new ELBO that trains the combined colour and
geometry representations. DualVAE can control the colour of generated images,
and recolour existing images by transferring the colour latent representation
obtained from an exemplar image. We demonstrate that DualVAE generates images
with FID nearly two times better than VQ-GAN on a diverse collection of
datasets, including animated faces, logos and artistic landscapes.
- Abstract(参考訳): カラーコントロールされた画像生成と操作は、アーティストやグラフィックデザイナーにとって興味深い。
VQ-VAE(Vector Quantized Variational AutoEncoders)とAR(Autoregressive AutoEncoders)は高品質な画像を生成することができるが、色属性を制御するための明示的な表現機構がない。
色と幾何学の非交叉表現を学習することで、このような制御を提供するハイブリッド表現モデルであるDualVAEを紹介する。
幾何学は、構造的特徴を識別する画像強度マッピングによって表現される。
乱れの表現は2つの新しいメカニズムによって得られる。
(i)画像色属性と幾何学的属性を分離した二重分岐アーキテクチャ、
(ii)新しいELBOで、色と幾何学の複合表現を訓練する。
DualVAEは、生成された画像の色を制御でき、模範画像から得られた色潜在表現を転送することで、既存の画像を再カラー化することができる。
我々はDualVAEがVQ-GANよりも2倍近いFID画像を生成することを実証した。
関連論文リスト
- Automatic Controllable Colorization via Imagination [55.489416987587305]
本稿では,反復的な編集と修正が可能な自動色付けフレームワークを提案する。
グレースケール画像内のコンテンツを理解することにより、トレーニング済みの画像生成モデルを用いて、同じコンテンツを含む複数の画像を生成する。
これらの画像は、人間の専門家の過程を模倣して、色付けの参考となる。
論文 参考訳(メタデータ) (2024-04-08T16:46:07Z) - SPDGAN: A Generative Adversarial Network based on SPD Manifold Learning
for Automatic Image Colorization [1.220743263007369]
生成逆ネットワーク(SPDGAN)を用いたSymmetric Positive Definite (SPD) Manifold Learningに基づく完全自動カラー化手法を提案する。
本モデルは,2つの識別器とジェネレータの対角ゲームを確立する。その目標は,残差接続により層間の色情報を失うことなく,偽のカラー化画像を生成することである。
論文 参考訳(メタデータ) (2023-12-21T00:52:01Z) - Improved Diffusion-based Image Colorization via Piggybacked Models [19.807766482434563]
既存の強力なT2I拡散モデルに基づく色付けモデルを提案する。
拡散誘導器は、潜伏拡散モデルの事前訓練された重みを組み込むように設計されている。
次に、輝度認識VQVAEは、所定のグレースケール画像に画素完全アライメントされた色付き結果を生成する。
論文 参考訳(メタデータ) (2023-04-21T16:23:24Z) - Hierarchical Text-Conditional Image Generation with CLIP Latents [20.476720970770128]
画像表現を明示的に生成することで、フォトリアリズムとキャプションの類似性が最小限に抑えられ、画像の多様性が向上することを示す。
画像表現に条件付けされたデコーダは、その意味とスタイルの両方を保存した画像のバリエーションを生成できる。
論文 参考訳(メタデータ) (2022-04-13T01:10:33Z) - Diverse Image Inpainting with Bidirectional and Autoregressive
Transformers [55.21000775547243]
新規な双方向自己回帰トランス(BAT)を用いた画像インペインティングフレームワークBAT-Fillを提案する。
BAT-Fillは変換器とCNNの利点を2段階的に継承し、変換器の注意の二次的複雑さに制約されることなく高解像度のコンテンツを生成する。
論文 参考訳(メタデータ) (2021-04-26T03:52:27Z) - IMAGINE: Image Synthesis by Image-Guided Model Inversion [79.4691654458141]
IMGE-Guided Model INvErsion (IMAGINE) と呼ばれるインバージョンベースの手法を導入し、高品質で多様な画像を生成します。
我々は,事前学習した分類器から画像意味論の知識を活用し,妥当な世代を実現する。
IMAGINEは,1)合成中の意味的特異性制約を同時に実施し,2)ジェネレータトレーニングなしでリアルな画像を生成し,3)生成過程を直感的に制御する。
論文 参考訳(メタデータ) (2021-04-13T02:00:24Z) - Generating Diverse Structure for Image Inpainting With Hierarchical
VQ-VAE [74.29384873537587]
本稿では,異なる構造を持つ複数の粗い結果を第1段階で生成し,第2段階ではテクスチャを増補して各粗い結果を別々に洗練する,多彩な塗布用2段階モデルを提案する。
CelebA-HQ, Places2, ImageNetデータセットによる実験結果から,本手法は塗布ソリューションの多様性を向上するだけでなく,生成した複数の画像の視覚的品質も向上することが示された。
論文 参考訳(メタデータ) (2021-03-18T05:10:49Z) - HistoGAN: Controlling Colors of GAN-Generated and Real Images via Color
Histograms [52.77252727786091]
HistoGANは、GAN生成画像の色を制御するための色ヒストグラムに基づく方法である。
我々は、HistoGANを拡張して、実画像を再色する方法を示す。
論文 参考訳(メタデータ) (2020-11-23T21:14:19Z) - The Utility of Decorrelating Colour Spaces in Vector Quantised
Variational Autoencoders [1.7792264784100689]
ネットワーク学習構造表現を強制するカラー空間変換を提案する。
入力が1つの色空間のイメージであり、出力が別の色空間のイメージであるVQ-VAEのいくつかの例を訓練した。
論文 参考訳(メタデータ) (2020-09-30T07:44:01Z) - Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。
VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
論文 参考訳(メタデータ) (2020-07-14T14:45:00Z) - Line Art Correlation Matching Feature Transfer Network for Automatic
Animation Colorization [0.0]
色付き参照特徴を学習可能な方法で整列させるための相関マッチング特徴伝達モデル(CMFT)を提案する。
これにより、ジェネレータはディープセマンティックコードから徐々にコンテンツにレイヤーワイドの同期機能を転送できる。
論文 参考訳(メタデータ) (2020-04-14T06:50:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。