論文の概要: Exploring Attribute Variations in Style-based GANs using Diffusion Models

• arxiv url: http://arxiv.org/abs/2311.16052v1
• Date: Mon, 27 Nov 2023 18:14:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 13:49:47.644310
• Title: Exploring Attribute Variations in Style-based GANs using Diffusion Models
• Title（参考訳）: 拡散モデルを用いたスタイルベースGANの属性変動探索
• Authors: Rishubh Parihar, Prasanna Balaji, Raghav Magazine, Sarthak Vora, Tejan Karmali, Varun Jampani, R. Venkatesh Babu
• Abstract要約: 属性編集の多次元的性質をモデル化し,テキスト多元属性編集のタスクを定式化する。 我々は、事前訓練されたGANの非絡み合った潜伏空間を利用して、様々な編集のための潜伏分布を学習するために、Denoising Diffusion Probabilistic Model (DDPM)を訓練する。
• 参考スコア（独自算出の注目度）: 48.98081892627042
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing attribute editing methods treat semantic attributes as binary, resulting in a single edit per attribute. However, attributes such as eyeglasses, smiles, or hairstyles exhibit a vast range of diversity. In this work, we formulate the task of \textit{diverse attribute editing} by modeling the multidimensional nature of attribute edits. This enables users to generate multiple plausible edits per attribute. We capitalize on disentangled latent spaces of pretrained GANs and train a Denoising Diffusion Probabilistic Model (DDPM) to learn the latent distribution for diverse edits. Specifically, we train DDPM over a dataset of edit latent directions obtained by embedding image pairs with a single attribute change. This leads to latent subspaces that enable diverse attribute editing. Applying diffusion in the highly compressed latent space allows us to model rich distributions of edits within limited computational resources. Through extensive qualitative and quantitative experiments conducted across a range of datasets, we demonstrate the effectiveness of our approach for diverse attribute editing. We also showcase the results of our method applied for 3D editing of various face attributes.
• Abstract（参考訳）: 既存の属性編集メソッドでは、セマンティクス属性をバイナリとして扱い、属性毎に単一の編集を行う。 しかし、眼鏡、笑顔、髪型といった特徴は幅広い多様性を示している。 本研究では,属性編集の多次元的性質をモデル化することにより,「textit{diverse attribute editing}」のタスクを定式化する。 これにより、属性ごとに複数のもっともらしい編集を生成することができる。 我々は、事前訓練されたGANの非絡み合った潜伏空間を利用して、様々な編集のための潜伏分布を学習するために、Denoising Diffusion Probabilistic Model (DDPM)を訓練する。 具体的には,画像ペアを1つの属性変化で埋め込んだ遅延方向のデータセット上でDDPMをトレーニングする。 これは多彩な属性編集を可能にする潜在サブスペースにつながる。 高度に圧縮された潜在空間に拡散を適用することで、限られた計算資源内で編集のリッチな分布をモデル化することができる。 様々なデータセットの質的,定量的な実験を通じて,多様な属性編集に対するアプローチの有効性を実証した。 また,様々な顔属性の3d編集に応用した手法について紹介する。

関連論文リスト

• DreamMix: Decoupling Object Attributes for Enhanced Editability in Customized Image Inpainting [63.01425442236011]
  本研究では,DreamMixを提案する。DreamMixは,ユーザが指定した場所のシーンに対象オブジェクトを挿入できる拡散型生成モデルである。 テキストベースの属性ガイダンスの多様性と識別能力を向上させるために,属性分離機構 (ADM) とテキスト属性置換 (TAS) モジュールを提案する。
  論文  参考訳（メタデータ） (2024-11-26T08:44:47Z)
• AttriHuman-3D: Editable 3D Human Avatar Generation with Attribute Decomposition and Indexing [79.38471599977011]
  編集可能な3次元人体生成モデルであるAttriHuman-3Dを提案する。 属性空間全体のすべての属性を生成し、6つの特徴平面を分解し、異なる属性インデックスで操作する。 我々のモデルは、異なる属性間の強い絡み合いを提供し、きめ細かい画像編集を可能にし、高品質な3Dアバターを生成する。
  論文  参考訳（メタデータ） (2023-12-03T03:20:10Z)
• Multi-Directional Subspace Editing in Style-Space [6.282068591820945]
  本稿では,StyleGANの潜在空間における不整合意味方向を見つけるための新しい手法について述べる。 本モデルでは,複数方向の1つの属性を編集できるので,生成可能な画像の範囲が拡大する。
  論文  参考訳（メタデータ） (2022-11-21T19:47:35Z)
• Leveraging Off-the-shelf Diffusion Model for Multi-attribute Fashion Image Manipulation [27.587905673112473]
  ファッション属性編集は、無関係な領域を保存しながら、所定のファッション画像の意味的属性を変換することを目的としたタスクである。 以前の作業では、ジェネレータがターゲット属性を明示的に学習し、変換を直接実行する条件付きGANを使用していた。 画像ネットのような一般的な視覚的セマンティクスに基づいて事前訓練されたオフザシェルフ拡散モデルを利用する分類器誘導拡散について検討する。
  論文  参考訳（メタデータ） (2022-10-12T02:21:18Z)
• ManiCLIP: Multi-Attribute Face Manipulation from Text [104.30600573306991]
  テキスト記述に基づく新しい多属性顔操作法を提案する。 本手法は,テキスト関連属性の編集を最小限に抑えた自然な顔を生成する。
  論文  参考訳（メタデータ） (2022-10-02T07:22:55Z)
• Everything is There in Latent Space: Attribute Editing and Attribute Style Manipulation by StyleGAN Latent Space Exploration [39.18239951479647]
  RAAME (Few-shot Latent-based Attribute Manipulation and Editing) について紹介する。 FLAMEは、遅延空間操作によって高度に制御された画像編集を行うためのフレームワークである。 様々な属性スタイルをアンタングル的に生成する。
  論文  参考訳（メタデータ） (2022-07-20T12:40:32Z)
• Each Attribute Matters: Contrastive Attention for Sentence-based Image Editing [13.321782757637303]
  文ベースの画像編集(SIE)は、画像の編集に自然言語をデプロイすることを目的としている。 既存の方法では、クエリ文が複数の編集可能な属性を持つ場合、正確な編集がほとんどできない。 本稿では,Contrastive Attention Generative Adversarial Network (CA-GAN) と呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-21T14:06:20Z)
• Disentangled Face Attribute Editing via Instance-Aware Latent Space Search [30.17338705964925]
  GAN(Generative Adversarial Networks)の潜在空間には、意味的な方向性の豊富な集合が存在する。 既存のメソッドは属性のばらつきが弱いため、望ましい属性を変更する際には、他の属性が望ましくない変更になる可能性がある。 本稿では,不整合属性編集のセマンティックな方向を求めるために,インスタンス認識遅延空間探索を行う新しいフレームワーク(IALS)を提案する。
  論文  参考訳（メタデータ） (2021-05-26T16:19:08Z)
• SMILE: Semantically-guided Multi-attribute Image and Layout Editing [154.69452301122175]
  GAN(Generative Adversarial Networks)の導入以来、属性画像操作は非常に活発な話題となっている。 対象領域の下位領域情報のみを使用しながら、ランダムノイズや画像によって誘導される全ての属性を処理するマルチモーダル表現を提案する。 本手法では,イメージを参照として,あるいはスタイル分布空間を探索することにより,細粒度や粗粒度などの属性の追加,削除,変更を行うことができる。
  論文  参考訳（メタデータ） (2020-10-05T20:15:21Z)
• Attribute-based Regularization of Latent Spaces for Variational Auto-Encoders [79.68916470119743]
  本稿では,変分オートエンコーダ(VAE)の潜時空間を,連続値の異なる属性を明示的に符号化する新しい手法を提案する。 これは属性の正規化損失を使用して、属性値と属性が符号化される次元の潜在符号との単調な関係を強制する。
  論文  参考訳（メタデータ） (2020-04-11T20:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。