論文の概要: DualVAE: Controlling Colours of Generated and Real Images
- arxiv url: http://arxiv.org/abs/2305.18769v1
- Date: Tue, 30 May 2023 06:04:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 17:58:10.184836
- Title: DualVAE: Controlling Colours of Generated and Real Images
- Title（参考訳）: DualVAE: 生成画像と実画像の色を制御
- Authors: Keerth Rathakumar, David Liebowitz, Christian Walder, Kristen Moore,
Salil S. Kanhere
- Abstract要約: 色と幾何学の非交叉表現を学習して制御するハイブリッド表現モデルであるDualVAEを紹介する。
我々は、DualVAEが、多様なデータセットのコレクションにおいて、VQ-GANよりも2倍近いFID画像を生成することを示した。
- 参考スコア（独自算出の注目度）: 8.435437620425443
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Colour controlled image generation and manipulation are of interest to
artists and graphic designers. Vector Quantised Variational AutoEncoders
(VQ-VAEs) with autoregressive (AR) prior are able to produce high quality
images, but lack an explicit representation mechanism to control colour
attributes. We introduce DualVAE, a hybrid representation model that provides
such control by learning disentangled representations for colour and geometry.
The geometry is represented by an image intensity mapping that identifies
structural features. The disentangled representation is obtained by two novel
mechanisms:
(i) a dual branch architecture that separates image colour attributes from
geometric attributes, and (ii) a new ELBO that trains the combined colour and
geometry representations. DualVAE can control the colour of generated images,
and recolour existing images by transferring the colour latent representation
obtained from an exemplar image. We demonstrate that DualVAE generates images
with FID nearly two times better than VQ-GAN on a diverse collection of
datasets, including animated faces, logos and artistic landscapes.
- Abstract（参考訳）: カラーコントロールされた画像生成と操作は、アーティストやグラフィックデザイナーにとって興味深い。
VQ-VAE(Vector Quantized Variational AutoEncoders)とAR(Autoregressive AutoEncoders)は高品質な画像を生成することができるが、色属性を制御するための明示的な表現機構がない。
色と幾何学の非交叉表現を学習することで、このような制御を提供するハイブリッド表現モデルであるDualVAEを紹介する。
幾何学は、構造的特徴を識別する画像強度マッピングによって表現される。
乱れの表現は2つの新しいメカニズムによって得られる。
(i)画像色属性と幾何学的属性を分離した二重分岐アーキテクチャ、
(ii)新しいELBOで、色と幾何学の複合表現を訓練する。
DualVAEは、生成された画像の色を制御でき、模範画像から得られた色潜在表現を転送することで、既存の画像を再カラー化することができる。
我々はDualVAEがVQ-GANよりも2倍近いFID画像を生成することを実証した。
関連論文リスト
- Transforming Color: A Novel Image Colorization Method [8.041659727964305]
本稿では,色変換器とGANを用いた画像カラー化手法を提案する。
提案手法は,グローバルな情報を取得するためのトランスフォーマーアーキテクチャと,視覚的品質を改善するためのGANフレームワークを統合する。
実験の結果,提案するネットワークは,他の最先端のカラー化技術よりも優れていた。
論文 参考訳（メタデータ） (2024-10-07T07:23:42Z) - Training-free Color-Style Disentanglement for Constrained Text-to-Image Synthesis [16.634138745034733]
そこで本研究では,参照画像から色とスタイル属性のテキスト・ツー・イメージを分離する,最初のトレーニングフリーでテスト時間のみの手法を提案する。
論文 参考訳（メタデータ） (2024-09-04T04:16:58Z) - MultiColor: Image Colorization by Learning from Multiple Color Spaces [4.738828630428634]
MultiColorは、グレースケールイメージを自動的にカラー化する学習ベースの新しいアプローチである。
我々は、個々の色空間に専用の着色モジュール群を用いる。
これらの予測色チャネルは様々な色空間を表すため、相補的なネットワークは相補性を生かし、優雅で合理的な色付き画像を生成するように設計されている。
論文 参考訳（メタデータ） (2024-08-08T02:34:41Z) - Automatic Controllable Colorization via Imagination [55.489416987587305]
本稿では,反復的な編集と修正が可能な自動色付けフレームワークを提案する。
グレースケール画像内のコンテンツを理解することにより、トレーニング済みの画像生成モデルを用いて、同じコンテンツを含む複数の画像を生成する。
これらの画像は、人間の専門家の過程を模倣して、色付けの参考となる。
論文 参考訳（メタデータ） (2024-04-08T16:46:07Z) - SPDGAN: A Generative Adversarial Network based on SPD Manifold Learning
for Automatic Image Colorization [1.220743263007369]
生成逆ネットワーク(SPDGAN)を用いたSymmetric Positive Definite (SPD) Manifold Learningに基づく完全自動カラー化手法を提案する。
本モデルは,2つの識別器とジェネレータの対角ゲームを確立する。その目標は,残差接続により層間の色情報を失うことなく,偽のカラー化画像を生成することである。
論文 参考訳（メタデータ） (2023-12-21T00:52:01Z) - Hierarchical Text-Conditional Image Generation with CLIP Latents [20.476720970770128]
画像表現を明示的に生成することで、フォトリアリズムとキャプションの類似性が最小限に抑えられ、画像の多様性が向上することを示す。
画像表現に条件付けされたデコーダは、その意味とスタイルの両方を保存した画像のバリエーションを生成できる。
論文 参考訳（メタデータ） (2022-04-13T01:10:33Z) - Diverse Image Inpainting with Bidirectional and Autoregressive
Transformers [55.21000775547243]
新規な双方向自己回帰トランス(BAT)を用いた画像インペインティングフレームワークBAT-Fillを提案する。
BAT-Fillは変換器とCNNの利点を2段階的に継承し、変換器の注意の二次的複雑さに制約されることなく高解像度のコンテンツを生成する。
論文 参考訳（メタデータ） (2021-04-26T03:52:27Z) - IMAGINE: Image Synthesis by Image-Guided Model Inversion [79.4691654458141]
IMGE-Guided Model INvErsion (IMAGINE) と呼ばれるインバージョンベースの手法を導入し、高品質で多様な画像を生成します。
我々は,事前学習した分類器から画像意味論の知識を活用し,妥当な世代を実現する。
IMAGINEは,1)合成中の意味的特異性制約を同時に実施し,2)ジェネレータトレーニングなしでリアルな画像を生成し,3)生成過程を直感的に制御する。
論文 参考訳（メタデータ） (2021-04-13T02:00:24Z) - Generating Diverse Structure for Image Inpainting With Hierarchical
VQ-VAE [74.29384873537587]
本稿では,異なる構造を持つ複数の粗い結果を第1段階で生成し,第2段階ではテクスチャを増補して各粗い結果を別々に洗練する,多彩な塗布用2段階モデルを提案する。
CelebA-HQ, Places2, ImageNetデータセットによる実験結果から,本手法は塗布ソリューションの多様性を向上するだけでなく,生成した複数の画像の視覚的品質も向上することが示された。
論文 参考訳（メタデータ） (2021-03-18T05:10:49Z) - HistoGAN: Controlling Colors of GAN-Generated and Real Images via Color
Histograms [52.77252727786091]
HistoGANは、GAN生成画像の色を制御するための色ヒストグラムに基づく方法である。
我々は、HistoGANを拡張して、実画像を再色する方法を示す。
論文 参考訳（メタデータ） (2020-11-23T21:14:19Z) - Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。
VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
論文 参考訳（メタデータ） (2020-07-14T14:45:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。