論文の概要: Interpreting Class Conditional GANs with Channel Awareness
- arxiv url: http://arxiv.org/abs/2203.11173v1
- Date: Mon, 21 Mar 2022 17:53:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 17:23:33.640422
- Title: Interpreting Class Conditional GANs with Channel Awareness
- Title（参考訳）: チャネル認識によるクラス条件付きGANの解釈
- Authors: Yingqing He, Zhiyi Zhang, Jiapeng Zhu, Yujun Shen, Qifeng Chen
- Abstract要約: クラス条件生成器が複数のクラスの合成をどのように統合するかを検討する。
このような現象を説明するために、単一チャネルが最終合成にどのように貢献するかを定量的に特徴づけるチャネル認識を提案する。
我々のアルゴリズムは条件付きGANでいくつかの新しい応用を可能にする。
- 参考スコア（独自算出の注目度）: 57.01413866290279
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding the mechanism of generative adversarial networks (GANs) helps
us better use GANs for downstream applications. Existing efforts mainly target
interpreting unconditional models, leaving it less explored how a conditional
GAN learns to render images regarding various categories. This work fills in
this gap by investigating how a class conditional generator unifies the
synthesis of multiple classes. For this purpose, we dive into the widely used
class-conditional batch normalization (CCBN), and observe that each feature
channel is activated at varying degrees given different categorical embeddings.
To describe such a phenomenon, we propose channel awareness, which
quantitatively characterizes how a single channel contributes to the final
synthesis. Extensive evaluations and analyses on the BigGAN model pre-trained
on ImageNet reveal that only a subset of channels is primarily responsible for
the generation of a particular category, similar categories (e.g., cat and dog)
usually get related to some same channels, and some channels turn out to share
information across all classes. For good measure, our algorithm enables several
novel applications with conditional GANs. Concretely, we achieve (1) versatile
image editing via simply altering a single channel and manage to (2)
harmoniously hybridize two different classes. We further verify that the
proposed channel awareness shows promising potential in (3) segmenting the
synthesized image and (4) evaluating the category-wise synthesis performance.
- Abstract（参考訳）: GAN(Generative Adversarial Network)のメカニズムを理解することで、下流アプリケーションにGANをうまく利用することができます。
既存の取り組みは主に無条件モデルの解釈を対象としており、条件付きGANが様々なカテゴリに関する画像のレンダリングを学習する方法については明らかになっていない。
この研究は、クラス条件生成器が複数のクラスの合成をどのように統一するかを調べることで、このギャップを埋める。
この目的のために、広く使われているクラス条件バッチ正規化(CCBN)を掘り下げ、各特徴チャネルが異なるカテゴリの埋め込みによって異なる度に活性化されていることを観察する。
このような現象を説明するために,単一チャネルが最終合成にどのように寄与するかを定量的に特徴付けるチャネル認識を提案する。
ImageNetで事前訓練されたBigGANモデルに関する広範囲な評価と分析により、特定のカテゴリの生成にはチャネルのサブセットしか関与せず、同様のカテゴリ(例:猫と犬)が通常同じチャネルに関連付けられ、いくつかのチャンネルがすべてのクラスで情報を共有することが判明した。
提案アルゴリズムは,条件付きGANを用いたいくつかの新しい応用を可能にする。
具体的には,(1)1つのチャンネルを単に変更するだけで画像編集が可能となり,(2)2つのクラスを調和的にハイブリダイズする。
さらに,提案するチャネル認識は,(3)合成画像のセグメンテーションにおいて有望な可能性を示し,(4)カテゴリー別合成性能を評価する。
関連論文リスト
- A Unified View of cGANs with and without Classifiers [24.28407308818025]
Conditional Generative Adversarial Networks (cGANs) は、クラス条件分布からサンプリングできる暗黙の生成モデルである。
いくつかの代表的cGANは、分類器を使わずに最先端のパフォーマンスに到達するのを避ける。
本研究では,cGANを改善するために,分類器を適切に活用できることを実証する。
論文 参考訳（メタデータ） (2021-11-01T15:36:33Z) - Joint Inductive and Transductive Learning for Video Object Segmentation [107.32760625159301]
半教師付きオブジェクトセグメンテーションは、第1フレームのマスクだけを与えられたビデオシーケンスで対象オブジェクトをセグメンテーションするタスクである。
過去の最も優れた手法は、マッチングベースの帰納的推論やオンライン帰納的学習を採用していた。
本稿では,トランスダクティブ学習とインダクティブ学習を統合したフレームワークに統合し,それら間の補完を利用して,高精度かつ堅牢なビデオオブジェクトセグメンテーションを提案する。
論文 参考訳（メタデータ） (2021-08-08T16:25:48Z) - GAN for Vision, KG for Relation: a Two-stage Deep Network for Zero-shot
Action Recognition [33.23662792742078]
ゼロショット動作認識のための2段階のディープニューラルネットワークを提案する。
サンプリング段階では,授業の動作特徴と単語ベクトルによって訓練されたGAN(Generative Adversarial Network)を利用する。
分類段階において、アクションクラスの単語ベクトルと関連するオブジェクトの関係に基づいて知識グラフを構築する。
論文 参考訳（メタデータ） (2021-05-25T09:34:42Z) - Generative Multi-Label Zero-Shot Learning [136.17594611722285]
マルチラベルゼロショット学習は、トレーニング中にデータが入手できない複数の見えないカテゴリにイメージを分類する試みである。
我々の研究は、(一般化された)ゼロショット設定におけるマルチラベル機能の問題に最初に取り組みました。
私たちのクロスレベル核融合に基づく生成アプローチは、3つのデータセットすべてにおいて最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2021-01-27T18:56:46Z) - Progressive Co-Attention Network for Fine-grained Visual Classification [20.838908090777885]
きめ細かい視覚分類は、同じカテゴリ内の複数のサブカテゴリに属する画像を認識することを目的としている。
既存のほとんどの方法は個々の画像のみを入力とする。
そこで本研究では,pca-net(progressive co-attention network)と呼ばれる効果的な手法を提案する。
論文 参考訳（メタデータ） (2021-01-21T10:19:02Z) - Channel-wise Knowledge Distillation for Dense Prediction [73.99057249472735]
本稿では,学生ネットワークと教師ネットワークのチャンネルワイズ機能について提案する。
様々なネットワーク構造を持つ3つのベンチマークにおいて、一貫して優れた性能を実現している。
論文 参考訳（メタデータ） (2020-11-26T12:00:38Z) - Symbiotic Adversarial Learning for Attribute-based Person Search [86.7506832053208]
本稿では,共生学習の枠組みとして,共生学習の基盤に2つのGANを配置する。
具体的には、2種類の生成的敵ネットワークがトレーニングプロセスを通して協調的に学習する。
論文 参考訳（メタデータ） (2020-07-19T07:24:45Z) - Channel Interaction Networks for Fine-Grained Image Categorization [61.095320862647476]
微妙なクラス間差のため、きめ細かい画像分類は困難である。
本稿では,チャネル・インタラクション・ネットワーク(CIN)を提案する。
我々のモデルは、多段階のトレーニングやテストを必要とせずに、エンドツーエンドで効率的にトレーニングすることができる。
論文 参考訳（メタデータ） (2020-03-11T11:51:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。