論文の概要: Fantastic Style Channels and Where to Find Them: A Submodular Framework for Discovering Diverse Directions in GANs

• arxiv url: http://arxiv.org/abs/2203.08516v1
• Date: Wed, 16 Mar 2022 10:35:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 15:37:07.311373
• Title: Fantastic Style Channels and Where to Find Them: A Submodular Framework for Discovering Diverse Directions in GANs
• Title（参考訳）: 素晴らしいスタイルチャネルとそれを見つける場所:ganの多様な方向を見つけるためのサブモジュラーフレームワーク
• Authors: Enis Simsar and Umut Kocasari and Ezgi G\"ulperi Er and Pinar Yanardag
• Abstract要約: StyleGAN2は、リッチでゆがみのある潜在空間のために、様々な画像生成および操作タスクを可能にした。 そこで我々は,StyleGAN2の潜在空間において,最も代表的で多様な方向のサブセットを見つけるための,新しいサブモジュラー・フレームワークを設計する。 本フレームワークは,クラスタの概念を用いて多様性を促進し,グリーディ最適化方式で効率的に解ける。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The discovery of interpretable directions in the latent spaces of pre-trained GAN models has recently become a popular topic. In particular, StyleGAN2 has enabled various image generation and manipulation tasks due to its rich and disentangled latent spaces. The discovery of such directions is typically done either in a supervised manner, which requires annotated data for each desired manipulation or in an unsupervised manner, which requires a manual effort to identify the directions. As a result, existing work typically finds only a handful of directions in which controllable edits can be made. In this study, we design a novel submodular framework that finds the most representative and diverse subset of directions in the latent space of StyleGAN2. Our approach takes advantage of the latent space of channel-wise style parameters, so-called stylespace, in which we cluster channels that perform similar manipulations into groups. Our framework promotes diversity by using the notion of clusters and can be efficiently solved with a greedy optimization scheme. We evaluate our framework with qualitative and quantitative experiments and show that our method finds more diverse and disentangled directions. Our project page can be found at http://catlab-team.github.io/fantasticstyles.
• Abstract（参考訳）: 事前学習されたGANモデルの潜在空間における解釈可能な方向の発見は、最近人気となっている。 特にstylegan2は、リッチで不連続な潜在空間のため、様々な画像生成および操作タスクを可能にした。 このような方向の発見は通常、所望の操作ごとに注釈付きデータを必要とする教師付き方式か、指示を特定するための手作業を必要とする教師なし方式で行われる。 結果として、既存の作業は通常、コントロール可能な編集を行うためのほんの一握りの方向しか見つからない。 本研究では,スタイルガン2の潜在空間における方向の最も代表的かつ多様な部分集合を求める新しい部分モジュラーフレームワークを設計する。 提案手法は,グループに同様の操作を行うチャネルをクラスタ化する,いわゆるスタイル空間という,チャネルワイドなパラメータの潜時空間を利用する。 本フレームワークは,クラスタの概念を用いて多様性を促進し,グリーディ最適化方式で効率的に解ける。 定性的,定量的な実験により,本手法がより多様かつ不整合な方向を見出すことを示す。 私たちのプロジェクトページは http://catlab-team.github.io/fantasticstyles.com にある。

関連論文リスト

• Image Captioning via Dynamic Path Customization [100.15412641586525]
  画像キャプションのための新しい動的トランスフォーマーネットワーク(DTNet)を提案する。 提案するDTNetの有効性を検証するため,MS-COCOデータセットの広範な実験を行い,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-06-01T07:23:21Z)
• Discovering Interpretable Directions in the Semantic Latent Space of Diffusion Models [21.173910627285338]
  DDM(Denoising Diffusion Models)は、GAN(Generative Adversarial Networks)の強力な競合相手として登場した。 本稿では,h-spaceの特性について検討し,その中に意味のある意味的方向を求めるための新しい手法を提案する。 私たちのアプローチは、アーキテクチャの変更、テキストベースのガイダンス、CLIPベースの最適化、モデル微調整を必要とせずに適用できます。
  論文  参考訳（メタデータ） (2023-03-20T12:59:32Z)
• Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
  本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。 具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。 推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
  論文  参考訳（メタデータ） (2023-01-20T07:36:29Z)
• ContraFeat: Contrasting Deep Features for Semantic Discovery [102.4163768995288]
  StyleGANは、アンタングル化セマンティックコントロールの強い可能性を示している。 StyleGANの既存の意味発見手法は、修正された潜在層を手作業で選択することで、良好な操作結果が得られる。 本稿では,このプロセスを自動化し,最先端のセマンティック発見性能を実現するモデルを提案する。
  論文  参考訳（メタデータ） (2022-12-14T15:22:13Z)
• Discovering Class-Specific GAN Controls for Semantic Image Synthesis [73.91655061467988]
  本稿では,事前訓練されたSISモデルの潜在空間において,空間的に不整合なクラス固有方向を求める新しい手法を提案する。 提案手法によって検出される潜在方向は,セマンティッククラスの局所的な外観を効果的に制御できることを示す。
  論文  参考訳（メタデータ） (2022-12-02T21:39:26Z)
• Exploring Gradient-based Multi-directional Controls in GANs [19.950198707910587]
  本稿では, 非線形制御の発見手法を提案する。 提案手法は,多方向・多方向特性の多種多様な属性に対してきめ細かな制御が可能であり,現状の手法よりもはるかに優れた非絡み合いを実現する能力を示す。
  論文  参考訳（メタデータ） (2022-09-01T19:10:26Z)
• Attribute-specific Control Units in StyleGAN for Fine-grained Image Manipulation [57.99007520795998]
  特徴マップと変調スタイルの複数のチャネルからなる属性固有制御ユニットを探索する。 具体的には、制御ユニット内の変調スタイルのチャネルと特徴マップを協調的に操作し、意味的および空間的不整合制御を得る。 我々は、特定のスパース方向ベクトルに沿って変調スタイルを移動させ、これらの制御ユニットを操作するために特徴マップを計算するために使用されるフィルタワイズスタイルを置き換える。
  論文  参考訳（メタデータ） (2021-11-25T10:42:10Z)
• LatentCLR: A Contrastive Learning Approach for Unsupervised Discovery of Interpretable Directions [0.02294014185517203]
  本稿では,事前学習したGANの潜在空間における意味的方向を検出するための,コントラッシブ・ラーニングに基づくアプローチを提案する。 私たちのアプローチは、最先端のメソッドと互換性のある意味のある寸法を見つけます。
  論文  参考訳（メタデータ） (2021-04-02T00:11:22Z)
• Unsupervised Discovery of Disentangled Manifolds in GANs [74.24771216154105]
  解釈可能な生成プロセスは、様々な画像編集アプリケーションに有用である。 本稿では,任意の学習された生成逆数ネットワークが与えられた潜在空間における解釈可能な方向を検出する枠組みを提案する。
  論文  参考訳（メタデータ） (2020-11-24T02:18:08Z)
• Unsupervised Discovery of Interpretable Directions in the GAN Latent Space [39.54530450932134]
  GANモデルの潜在空間は、しばしば意味的に意味のある方向を持つ。 本稿では,事前学習したGANモデルの潜在空間における解釈可能な方向を特定するための教師なし手法を提案する。 弱教師付きサリエンシ検出のための競合性能を達成するために,この発見をいかに活用するかを示す。
  論文  参考訳（メタデータ） (2020-02-10T13:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。