論文の概要: Unsupervised Discovery of Interpretable Directions in the GAN Latent Space

• arxiv url: http://arxiv.org/abs/2002.03754v3
• Date: Wed, 24 Jun 2020 12:12:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 07:21:04.100347
• Title: Unsupervised Discovery of Interpretable Directions in the GAN Latent Space
• Title（参考訳）: GAN潜時空間における解釈方向の教師なし発見
• Authors: Andrey Voynov, Artem Babenko
• Abstract要約: GANモデルの潜在空間は、しばしば意味的に意味のある方向を持つ。 本稿では,事前学習したGANモデルの潜在空間における解釈可能な方向を特定するための教師なし手法を提案する。 弱教師付きサリエンシ検出のための競合性能を達成するために,この発見をいかに活用するかを示す。
• 参考スコア（独自算出の注目度）: 39.54530450932134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The latent spaces of GAN models often have semantically meaningful directions. Moving in these directions corresponds to human-interpretable image transformations, such as zooming or recoloring, enabling a more controllable generation process. However, the discovery of such directions is currently performed in a supervised manner, requiring human labels, pretrained models, or some form of self-supervision. These requirements severely restrict a range of directions existing approaches can discover. In this paper, we introduce an unsupervised method to identify interpretable directions in the latent space of a pretrained GAN model. By a simple model-agnostic procedure, we find directions corresponding to sensible semantic manipulations without any form of (self-)supervision. Furthermore, we reveal several non-trivial findings, which would be difficult to obtain by existing methods, e.g., a direction corresponding to background removal. As an immediate practical benefit of our work, we show how to exploit this finding to achieve competitive performance for weakly-supervised saliency detection.
• Abstract（参考訳）: GANモデルの潜在空間はしばしば意味論的意味のある方向を持つ。 これらの方向の移動は、ズームや再色などの人間の解釈可能な画像変換に対応し、より制御可能な生成プロセスを可能にする。 しかし、そのような方向の発見は現在、人間のラベル、事前訓練されたモデル、あるいはある種の自己監督を必要とする監督的な方法で行われている。 これらの要求は、既存のアプローチが発見できる様々な方向を厳しく制限する。 本稿では,事前学習したGANモデルの潜在空間における解釈可能な方向を特定するための教師なし手法を提案する。 単純なモデルに依存しない手順により、(自己)スーパービジョンのいかなる形も持たない意味操作に対応する方向を見つける。 さらに,既存の方法,例えば背景除去に対応する方向などでは入手が困難である,非自明な発見がいくつか見いだされる。 我々の研究の直接的な実用的利点として,この発見を生かして,弱い教師付き塩分検出のための競争的性能を達成する方法を示す。

関連論文リスト

• Decoding Diffusion: A Scalable Framework for Unsupervised Analysis of Latent Space Biases and Representations Using Natural Language Prompts [68.48103545146127]
  本稿では拡散潜在空間の教師なし探索のための新しい枠組みを提案する。 我々は、自然言語のプロンプトと画像キャプションを直接利用して、遅延方向をマップする。 本手法は,拡散モデルに符号化された意味的知識をよりスケーラブルで解釈可能な理解を提供する。
  論文  参考訳（メタデータ） (2024-10-25T21:44:51Z)
• Unsupervised Discovery of Interpretable Directions in h-space of Pre-trained Diffusion Models [63.1637853118899]
  本稿では,事前学習した拡散モデルのh空間における解釈可能な方向を特定するための,教師なしおよび学習に基づく最初の手法を提案する。 我々は、事前訓練された拡散モデルのh-スペースで動作するシフト制御モジュールを用いて、サンプルをシフトしたバージョンに操作する。 それらを共同で最適化することで、モデルは自然に絡み合った、解釈可能な方向を発見する。
  論文  参考訳（メタデータ） (2023-10-15T18:44:30Z)
• Discovering Interpretable Directions in the Semantic Latent Space of Diffusion Models [21.173910627285338]
  DDM(Denoising Diffusion Models)は、GAN(Generative Adversarial Networks)の強力な競合相手として登場した。 本稿では,h-spaceの特性について検討し,その中に意味のある意味的方向を求めるための新しい手法を提案する。 私たちのアプローチは、アーキテクチャの変更、テキストベースのガイダンス、CLIPベースの最適化、モデル微調整を必要とせずに適用できます。
  論文  参考訳（メタデータ） (2023-03-20T12:59:32Z)
• Discovering Class-Specific GAN Controls for Semantic Image Synthesis [73.91655061467988]
  本稿では,事前訓練されたSISモデルの潜在空間において,空間的に不整合なクラス固有方向を求める新しい手法を提案する。 提案手法によって検出される潜在方向は,セマンティッククラスの局所的な外観を効果的に制御できることを示す。
  論文  参考訳（メタデータ） (2022-12-02T21:39:26Z)
• Fantastic Style Channels and Where to Find Them: A Submodular Framework for Discovering Diverse Directions in GANs [0.0]
  StyleGAN2は、リッチでゆがみのある潜在空間のために、様々な画像生成および操作タスクを可能にした。 そこで我々は,StyleGAN2の潜在空間において,最も代表的で多様な方向のサブセットを見つけるための,新しいサブモジュラー・フレームワークを設計する。 本フレームワークは,クラスタの概念を用いて多様性を促進し,グリーディ最適化方式で効率的に解ける。
  論文  参考訳（メタデータ） (2022-03-16T10:35:41Z)
• LARGE: Latent-Based Regression through GAN Semantics [42.50535188836529]
  本稿では,少数ショットや弱ビジョンを用いた回帰課題の解法を提案する。 提案手法は,幅広い領域にまたがって適用可能であること,複数の遅延方向探索フレームワークを活用すること,そして最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-07-22T17:55:35Z)
• LatentCLR: A Contrastive Learning Approach for Unsupervised Discovery of Interpretable Directions [0.02294014185517203]
  本稿では,事前学習したGANの潜在空間における意味的方向を検出するための,コントラッシブ・ラーニングに基づくアプローチを提案する。 私たちのアプローチは、最先端のメソッドと互換性のある意味のある寸法を見つけます。
  論文  参考訳（メタデータ） (2021-04-02T00:11:22Z)
• Unsupervised Discovery of Disentangled Manifolds in GANs [74.24771216154105]
  解釈可能な生成プロセスは、様々な画像編集アプリケーションに有用である。 本稿では,任意の学習された生成逆数ネットワークが与えられた潜在空間における解釈可能な方向を検出する枠組みを提案する。
  論文  参考訳（メタデータ） (2020-11-24T02:18:08Z)
• Manifolds for Unsupervised Visual Anomaly Detection [79.22051549519989]
  トレーニングで必ずしも異常に遭遇しない教師なしの学習方法は、非常に有用です。 ジャイロプレーン層を用いた立体投影による超球形変分オートエンコーダ(VAE)を開発した。 工業用AIシナリオにおける実世界の実用性を実証し、精密製造および検査における視覚異常ベンチマークの最先端結果を示す。
  論文  参考訳（メタデータ） (2020-06-19T20:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。