論文の概要: Diagonal Attention and Style-based GAN for Content-Style Disentanglement
in Image Generation and Translation
- arxiv url: http://arxiv.org/abs/2103.16146v1
- Date: Tue, 30 Mar 2021 08:00:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-01 01:03:27.380924
- Title: Diagonal Attention and Style-based GAN for Content-Style Disentanglement
in Image Generation and Translation
- Title（参考訳）: 画像生成・翻訳におけるコンテンツスタイルの絡み合いに対する対角的注意とスタイルベースGAN
- Authors: Gihyun Kwon, Jong Chul Ye
- Abstract要約: 階層的適応型対角的空間アテンション層を新規に提示し,スタイルから空間内容を階層的に操作する。
空間内容やスタイルを粗小から微妙に切り離す手法です。
我々のジェネレータはganインバージョンフレームワークに容易に統合でき、翻訳画像の内容やスタイルを柔軟に制御できます。
- 参考スコア（独自算出の注目度）: 34.24876359759408
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the important research topics in image generative models is to
disentangle the spatial contents and styles for their separate control.
Although StyleGAN can generate content feature vectors from random noises, the
resulting spatial content control is primarily intended for minor spatial
variations, and the disentanglement of global content and styles is by no means
complete. Inspired by a mathematical understanding of normalization and
attention, here we present a novel hierarchical adaptive Diagonal spatial
ATtention (DAT) layers to separately manipulate the spatial contents from
styles in a hierarchical manner. Using DAT and AdaIN, our method enables
coarse-to-fine level disentanglement of spatial contents and styles. In
addition, our generator can be easily integrated into the GAN inversion
framework so that the content and style of translated images from multi-domain
image translation tasks can be flexibly controlled. By using various datasets,
we confirm that the proposed method not only outperforms the existing models in
disentanglement scores, but also provides more flexible control over spatial
features in the generated images.
- Abstract（参考訳）: 画像生成モデルにおける重要な研究テーマの1つは、空間的内容とスタイルを分離して制御することである。
スタイルガンはランダムノイズからコンテンツ特徴ベクトルを生成することができるが、結果として生じる空間コンテンツ制御は、主に小さな空間的変動を意図しており、グローバルコンテンツとスタイルの不連続は決して完全ではない。
本稿では,正規化と注意の数学的理解から着想を得た新しい階層的適応対角的空間的注意(dat)層を提案する。
DAT と AdaIN を用いることで,空間内容やスタイルの粗大かつ細大な展開を可能にする。
また,マルチドメイン画像翻訳タスクからの翻訳画像の内容やスタイルを柔軟に制御できるように,ganインバージョンフレームワークに容易に組み込むことができる。
様々なデータセットを用いて,提案手法が既存のモデルを不等角性スコアで上回るだけでなく,生成画像の空間的特徴をより柔軟に制御できることを確認した。
関連論文リスト
- ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。
本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
論文 参考訳（メタデータ） (2024-08-10T08:53:41Z) - SSMG: Spatial-Semantic Map Guided Diffusion Model for Free-form
Layout-to-Image Generation [68.42476385214785]
本稿では,レイアウトから派生した特徴写像を用いた空間意味マップガイド(SSMG)拡散モデルを提案する。
SSMGは,従来の研究に比べて空間的,意味的な制御性に優れた生成品質を実現する。
また,RSA(Relation-Sensitive Attention)機構とLSA(Location-Sensitive Attention)機構を提案する。
論文 参考訳（メタデータ） (2023-08-20T04:09:12Z) - Learning Dynamic Style Kernels for Artistic Style Transfer [26.19086645743083]
本研究では,空間適応型カーネルを画素ごとのスタイリングのために学習する新しい手法を提案する。
提案手法は最先端の手法より優れ,視覚的品質と効率の点で優れた性能を示す。
論文 参考訳（メタデータ） (2023-04-02T00:26:43Z) - Spatial Latent Representations in Generative Adversarial Networks for
Image Generation [0.0]
StyleGAN2 に対して空間潜在空間の族を定義する。
我々の空間は画像操作や意味情報のエンコードに有効であることを示す。
論文 参考訳（メタデータ） (2023-03-25T20:01:11Z) - PARASOL: Parametric Style Control for Diffusion Image Synthesis [18.852986904591358]
PARASOLはマルチモーダル合成モデルであり、画像の視覚スタイルの非交叉パラメトリック制御を可能にする。
補助的セマンティクスとスタイルに基づく探索を活用して、潜伏拡散モデルの教師のためのトレーニング三重項を作成する。
論文 参考訳（メタデータ） (2023-03-11T17:30:36Z) - Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。
具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。
推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
論文 参考訳（メタデータ） (2023-01-20T07:36:29Z) - Discovering Class-Specific GAN Controls for Semantic Image Synthesis [73.91655061467988]
本稿では,事前訓練されたSISモデルの潜在空間において,空間的に不整合なクラス固有方向を求める新しい手法を提案する。
提案手法によって検出される潜在方向は,セマンティッククラスの局所的な外観を効果的に制御できることを示す。
論文 参考訳（メタデータ） (2022-12-02T21:39:26Z) - High-fidelity GAN Inversion with Padding Space [38.9258619444968]
GAN(Generative Adversarial Network)の反転は、事前訓練されたジェネレータを用いた幅広い画像編集作業を容易にする。
既存の手法では、通常、反転空間としてGANの潜伏空間を用いるが、空間詳細の回復は不十分である。
本稿では, 潜伏空間を空間情報で補うため, ジェネレータのパディング空間を包含することを提案する。
論文 参考訳（メタデータ） (2022-03-21T16:32:12Z) - Low-Rank Subspaces in GANs [101.48350547067628]
この研究は、GAN生成をより正確に制御できる低ランクな部分空間を導入している。
LowRankGAN は属性多様体の低次元表現を見つけることができる。
さまざまなデータセットでトレーニングされた最先端のGANモデル(StyleGAN2やBigGANなど)の実験は、私たちのLowRankGANの有効性を示しています。
論文 参考訳（メタデータ） (2021-06-08T16:16:32Z) - Style Intervention: How to Achieve Spatial Disentanglement with
Style-based Generators? [100.60938767993088]
任意の入力画像に適応し、フレキシブルな目的の下で自然な翻訳効果をレンダリングできる軽量な最適化アルゴリズムを提案する。
フォトリアリズムと一貫性の両方を必要とする高解像度画像の顔属性編集において,提案するフレームワークの性能を検証する。
論文 参考訳（メタデータ） (2020-11-19T07:37:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。