論文の概要: Explaining in Style: Training a GAN to explain a classifier in StyleSpace

• arxiv url: http://arxiv.org/abs/2104.13369v1
• Date: Tue, 27 Apr 2021 17:57:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-28 13:39:14.555406
• Title: Explaining in Style: Training a GAN to explain a classifier in StyleSpace
• Title（参考訳）: スタイルの説明: StyleSpaceで分類器を説明するためにGANを訓練する
• Authors: Oran Lang, Yossi Gandelsman, Michal Yarom, Yoav Wald, Gal Elidan, Avinatan Hassidim, William T. Freeman, Phillip Isola, Amir Globerson, Michal Irani, Inbar Mosseri
• Abstract要約: 本稿では,画像の意味的属性を説明するための生成モデルの学習法であるstylexを提案する。 StylExは、セマンティックとよく調和し、意味のある画像固有の説明を生成し、人間に解釈できる属性を見つけます。 その結果,この手法はセマンティックとよく一致し,意味のある画像特異的な説明を生成し,人間と解釈できる属性を見出した。
• 参考スコア（独自算出の注目度）: 75.75927763429745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image classification models can depend on multiple different semantic attributes of the image. An explanation of the decision of the classifier needs to both discover and visualize these properties. Here we present StylEx, a method for doing this, by training a generative model to specifically explain multiple attributes that underlie classifier decisions. A natural source for such attributes is the StyleSpace of StyleGAN, which is known to generate semantically meaningful dimensions in the image. However, because standard GAN training is not dependent on the classifier, it may not represent these attributes which are important for the classifier decision, and the dimensions of StyleSpace may represent irrelevant attributes. To overcome this, we propose a training procedure for a StyleGAN, which incorporates the classifier model, in order to learn a classifier-specific StyleSpace. Explanatory attributes are then selected from this space. These can be used to visualize the effect of changing multiple attributes per image, thus providing image-specific explanations. We apply StylEx to multiple domains, including animals, leaves, faces and retinal images. For these, we show how an image can be modified in different ways to change its classifier output. Our results show that the method finds attributes that align well with semantic ones, generate meaningful image-specific explanations, and are human-interpretable as measured in user-studies.
• Abstract（参考訳）: 画像分類モデルは、画像の複数の異なる意味属性に依存することができる。 分類器の決定を説明するには、これらの特性を発見して視覚化する必要がある。 本稿では、生成モデルを訓練し、分類器の決定を下す複数の属性を具体的に説明する方法であるStylExを紹介する。 このような属性の自然な源はstyleganのスタイルスペースであり、イメージに意味的に意味のある次元を生成することが知られている。 しかし、標準のGANトレーニングは分類器に依存しないため、分類器の決定に重要なこれらの属性を表現せず、StyleSpaceの次元は無関係な属性を表現できる。 そこで本研究では,分類器固有のStyleSpaceを学習するために,分類器モデルを組み込んだStyleGANのトレーニング手順を提案する。 説明属性は、この空間から選択される。 これらは、画像ごとに複数の属性を変更する効果を可視化するために使用することができ、画像固有の説明を提供する。 我々はStylExを動物、葉、顔、網膜画像を含む複数の領域に適用する。 これらのことから,分類器の出力を変更するために,異なる方法で画像を変更する方法を示す。 提案手法は, 意味的特徴とよく一致し, 意味のある画像固有の説明が生成され, ユーザ・スタディで測定された人間の解釈が可能であることを示す。

関連論文リスト

• Measuring Style Similarity in Diffusion Models [118.22433042873136]
  画像からスタイル記述子を理解し抽出するためのフレームワークを提案する。 我々のフレームワークは、スタイルが画像の主観的特性であるという洞察を用いてキュレートされた新しいデータセットで構成されている。 また、テキスト・ツー・イメージ・モデルのトレーニングデータセットで使用される画像に対して、生成した画像のスタイルに使用できるスタイル属性記述子を抽出する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-01T17:58:30Z)
• Text Descriptions are Compressive and Invariant Representations for Visual Learning [63.3464863723631]
  本研究では,クラスごとの複数の視覚的特徴に対する人間の理解に則って,頑健な数ショット学習環境では魅力的な性能が得られることを示す。 特に,SLR-AVD (Sparse Logistic Regression using Augmented Visual Descriptors) という新しい手法を導入する。 このメソッドはまず、まず大きな言語モデル(LLM)を介して各クラスの複数の視覚的記述を自動生成し、次にVLMを使用してこれらの記述を各画像の視覚的特徴埋め込みに変換し、最後に、これらの特徴の関連するサブセットを選択するためにスパースロジスティック回帰を使用する。
  論文  参考訳（メタデータ） (2023-07-10T03:06:45Z)
• Everything is There in Latent Space: Attribute Editing and Attribute Style Manipulation by StyleGAN Latent Space Exploration [39.18239951479647]
  RAAME (Few-shot Latent-based Attribute Manipulation and Editing) について紹介する。 FLAMEは、遅延空間操作によって高度に制御された画像編集を行うためのフレームワークである。 様々な属性スタイルをアンタングル的に生成する。
  論文  参考訳（メタデータ） (2022-07-20T12:40:32Z)
• Boosting Zero-shot Learning via Contrastive Optimization of Attribute Representations [28.46906100680767]
  画像以外の属性のプロトタイプを明示的に学習することでZSL(Zero-shot Learning)を強化する新しいフレームワークを提案する。 プロトタイプ生成モジュールは属性セマンティクスから属性プロトタイプを生成するように設計されている。 ハードな例に基づくコントラスト最適化スキームを導入し、埋め込み空間における属性レベルの特徴を補強する。
  論文  参考訳（メタデータ） (2022-07-08T11:05:35Z)
• Attribute Group Editing for Reliable Few-shot Image Generation [85.52840521454411]
  本稿では,画像生成のための新しい編集手法,すなわちAttribute Group Editing (AGE)を提案する。 AGEは、GANで学んだ内部表現を調べ、意味的に意味のある方向を識別する。
  論文  参考訳（メタデータ） (2022-03-16T06:54:09Z)
• SMILE: Semantically-guided Multi-attribute Image and Layout Editing [154.69452301122175]
  GAN(Generative Adversarial Networks)の導入以来、属性画像操作は非常に活発な話題となっている。 対象領域の下位領域情報のみを使用しながら、ランダムノイズや画像によって誘導される全ての属性を処理するマルチモーダル表現を提案する。 本手法では,イメージを参照として,あるいはスタイル分布空間を探索することにより,細粒度や粗粒度などの属性の追加,削除,変更を行うことができる。
  論文  参考訳（メタデータ） (2020-10-05T20:15:21Z)
• Attribute Propagation Network for Graph Zero-shot Learning [57.68486382473194]
  属性伝達ネットワーク (APNet) を導入し, 1) クラス毎に属性ベクトルを生成するグラフ伝搬モデルと, 2) パラメータ化隣人 (NN) 分類器から構成する。 APNetは、2つのゼロショット学習設定と5つのベンチマークデータセットによる実験で、魅力的なパフォーマンスまたは新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-24T16:53:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。