論文の概要: Extracting Semantic Knowledge from GANs with Unsupervised Learning

• arxiv url: http://arxiv.org/abs/2211.16710v1
• Date: Wed, 30 Nov 2022 03:18:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 15:27:50.323541
• Title: Extracting Semantic Knowledge from GANs with Unsupervised Learning
• Title（参考訳）: 教師なし学習によるGANからの意味的知識抽出
• Authors: Jianjin Xu, Zhaoxiang Zhang, Xiaolin Hu
• Abstract要約: GAN(Generative Adversarial Networks)は、特徴写像のセマンティクスを線形に分離可能な形でエンコードする。 本稿では,線形分離性を利用してGANの特徴をクラスタリングする新しいクラスタリングアルゴリズムKLiSHを提案する。 KLiSHは、さまざまなオブジェクトのデータセットに基づいてトレーニングされたGANのきめ細かいセマンティクスの抽出に成功している。
• 参考スコア（独自算出の注目度）: 65.32631025780631
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recently, unsupervised learning has made impressive progress on various tasks. Despite the dominance of discriminative models, increasing attention is drawn to representations learned by generative models and in particular, Generative Adversarial Networks (GANs). Previous works on the interpretation of GANs reveal that GANs encode semantics in feature maps in a linearly separable form. In this work, we further find that GAN's features can be well clustered with the linear separability assumption. We propose a novel clustering algorithm, named KLiSH, which leverages the linear separability to cluster GAN's features. KLiSH succeeds in extracting fine-grained semantics of GANs trained on datasets of various objects, e.g., car, portrait, animals, and so on. With KLiSH, we can sample images from GANs along with their segmentation masks and synthesize paired image-segmentation datasets. Using the synthesized datasets, we enable two downstream applications. First, we train semantic segmentation networks on these datasets and test them on real images, realizing unsupervised semantic segmentation. Second, we train image-to-image translation networks on the synthesized datasets, enabling semantic-conditional image synthesis without human annotations.
• Abstract（参考訳）: 近年,教師なし学習は様々なタスクにおいて顕著な進歩を遂げている。 識別モデルの支配にもかかわらず、生成モデル、特にGAN(Generative Adversarial Networks)によって学習された表現に注目が集まる。 GANの解釈に関する以前の研究は、GANが特徴写像のセマンティクスを線形分離可能な形でエンコードしていることを示している。 本研究では, GAN の特徴を線形分離可能性仮定で適切にクラスタ化できることを示す。 本稿では,線形分離性を利用してGANの特徴をクラスタリングする新しいクラスタリングアルゴリズムKLiSHを提案する。 KLiSHは、車、肖像画、動物など、さまざまなオブジェクトのデータセットに基づいて訓練されたGANのきめ細かいセマンティクスを抽出することに成功した。 klishでは、ganからの画像をセグメンテーションマスクとともにサンプリングし、ペアイメージセグメンテーションデータセットを合成することができる。 合成データセットを用いて、下流の2つのアプリケーションを可能にする。 まず,これらのデータセット上でセマンティックセグメンテーションネットワークをトレーニングし,実画像上でセマンティックセグメンテーションを実現する。 次に,合成データセット上で画像から画像への翻訳ネットワークを訓練し,人間のアノテーションを使わずに意味的条件付き画像合成を実現する。

関連論文リスト

• Linking in Style: Understanding learned features in deep learning models [0.0]
  畳み込みニューラルネットワーク(CNN)は抽象的な特徴を学び、オブジェクト分類を行う。 本稿では,CNNにおける学習特徴を可視化し,体系的に解析する自動手法を提案する。
  論文  参考訳（メタデータ） (2024-09-25T12:28:48Z)
• DatasetDM: Synthesizing Data with Perception Annotations Using Diffusion Models [61.906934570771256]
  多様な合成画像や知覚アノテーションを生成できる汎用データセット生成モデルを提案する。 本手法は,事前学習した拡散モデルに基づいて,テキスト誘導画像合成を知覚データ生成に拡張する。 拡散モデルのリッチ潜時コードはデコーダモジュールを用いて正確な認識アノテーションとして効果的に復号できることを示す。
  論文  参考訳（メタデータ） (2023-08-11T14:38:11Z)
• Two-Stream Graph Convolutional Network for Intra-oral Scanner Image Segmentation [133.02190910009384]
  本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。 TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-19T10:41:09Z)
• Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization [112.68171734288237]
  本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。 我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。 ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
  論文  参考訳（メタデータ） (2021-04-12T21:41:25Z)
• Linear Semantics in Generative Adversarial Networks [26.123252503846942]
  GANのセマンティック表現をよりよく理解し、GANの生成プロセスにおけるセマンティック制御を可能にすることを目指しています。 よく訓練されたGANは、イメージセマンティクスを驚くほどシンプルな方法で内部機能マップにエンコードします。 Semantic-Conditional SamplingとSemantic Image Editingという2つの画像編集手法を提案する。
  論文  参考訳（メタデータ） (2021-04-01T14:18:48Z)
• Repurposing GANs for One-shot Semantic Part Segmentation [1.6543719822033436]
  セマンティックパートセグメンテーションのためのGANに基づくシンプルで効果的なアプローチを提案する。 我々のキーとなるアイデアは、訓練されたGANを利用して、入力画像からピクセルワイズ表現を抽出し、セグメンテーションネットワークのための特徴ベクトルとして利用することです。 我々の実験は、GANの表現が「完全に差別的」であり、驚くほど良い結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-03-07T15:40:47Z)
• Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
  この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。 画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。 特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
  論文  参考訳（メタデータ） (2020-12-09T12:40:13Z)
• Scribble-Supervised Semantic Segmentation by Random Walk on Neural Representation and Self-Supervision on Neural Eigenspace [10.603823180750446]
  本研究の目的は, 補助情報や中間操作を使わずに, ラベルを直接スクリブルすることで, セマンティックセグメンテーションを実現することである。 我々は、ランダムウォークによる神経表現への拡散と、自己スーパービジョンによる神経固有空間への一貫性を課す。 その結果,提案手法の優位性が示され,フルラベルの教師付き手法に匹敵する結果が得られた。
  論文  参考訳（メタデータ） (2020-11-11T08:22:25Z)
• Pairwise Relation Learning for Semi-supervised Gland Segmentation [90.45303394358493]
  病理組織像における腺分節に対するPRS2モデルを提案する。 このモデルはセグメンテーションネットワーク(S-Net)とペア関係ネットワーク(PR-Net)から構成される。 我々は,GlaSデータセットの最近の5つの手法とCRAGデータセットの最近の3つの手法を比較した。
  論文  参考訳（メタデータ） (2020-08-06T15:02:38Z)
• OpenGAN: Open Set Generative Adversarial Networks [16.02382549750862]
  本稿では,開集合 GAN アーキテクチャ (OpenGAN) を提案する。 与えられたソースイメージにセマンティックに類似したサンプルを生成することができます。 GANトレーニング分布外のクラスにおいて,OpenGANサンプルを用いてトレーニングデータを増強することにより,性能を著しく向上できることを示す。
  論文  参考訳（メタデータ） (2020-03-18T07:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。