論文の概要: PandA: Unsupervised Learning of Parts and Appearances in the Feature Maps of GANs

• arxiv url: http://arxiv.org/abs/2206.00048v1
• Date: Tue, 31 May 2022 18:28:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 16:00:36.831855
• Title: PandA: Unsupervised Learning of Parts and Appearances in the Feature Maps of GANs
• Title（参考訳）: PandA:GANの機能マップにおける部品と外観の教師なし学習
• Authors: James Oldfield, Christos Tzelepis, Yannis Panagakis, Mihalis A. Nicolaou, Ioannis Patras
• Abstract要約: 本研究では,空間的部分を表す因子とその外観を,完全に教師なしの方法で共同で発見するアーキテクチャに依存しないアプローチを提案する。 我々の手法は訓練時間の観点からはるかに効率的であり、最も重要なのは、より正確な局所制御を提供することである。
• 参考スコア（独自算出の注目度）: 34.145110544546114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in the understanding of Generative Adversarial Networks (GANs) have led to remarkable progress in visual editing and synthesis tasks, capitalizing on the rich semantics that are embedded in the latent spaces of pre-trained GANs. However, existing methods are often tailored to specific GAN architectures and are limited to either discovering global semantic directions that do not facilitate localized control, or require some form of supervision through manually provided regions or segmentation masks. In this light, we present an architecture-agnostic approach that jointly discovers factors representing spatial parts and their appearances in an entirely unsupervised fashion. These factors are obtained by applying a semi-nonnegative tensor factorization on the feature maps, which in turn enables context-aware local image editing with pixel-level control. In addition, we show that the discovered appearance factors correspond to saliency maps that localize concepts of interest, without using any labels. Experiments on a wide range of GAN architectures and datasets show that, in comparison to the state of the art, our method is far more efficient in terms of training time and, most importantly, provides much more accurate localized control. Our code is available at: https://github.com/james-oldfield/PandA.
• Abstract（参考訳）: GAN(Generative Adversarial Networks)の理解の最近の進歩は、事前学習されたGANの潜在空間に埋め込まれたリッチなセマンティクスを活用することで、視覚編集と合成タスクの顕著な進歩につながっている。 しかし、既存の手法は特定のGANアーキテクチャに適合し、局所的な制御を助長しないグローバルな意味的な方向を見つけるか、手動で提供された領域やセグメンテーションマスクを通してある種の監督を必要とするかに限られる。 本稿では,空間的部分とその外観を表す因子を,完全に教師なしの方法で共同で発見するアーキテクチャ非依存のアプローチを提案する。 これらの因子は、特徴マップに半非負のテンソル因子分解を適用することで得られる。 さらに,発見された外観因子は,ラベルを使わずに興味ある概念をローカライズする唾液マップに対応することを示す。 幅広いGANアーキテクチャとデータセットの実験では、最先端技術と比較して、我々の手法はトレーニング時間の観点からはるかに効率的であり、最も重要なのは、より正確な局所制御を提供することを示している。 私たちのコードは、https://github.com/james-oldfield/PandA.comで利用可能です。

関連論文リスト

• DIAL: Dense Image-text ALignment for Weakly Supervised Semantic Segmentation [8.422110274212503]
  弱教師付きセマンティックセグメンテーションアプローチは通常、初期シード生成にクラスアクティベーションマップ(CAM)に依存する。 DALNetは、テキストの埋め込みを利用して、さまざまなレベルの粒度のオブジェクトの包括的理解と正確な位置決めを強化する。 このアプローチは特に、シングルステージの手法として、より効率的なエンドツーエンドプロセスを可能にします。
  論文  参考訳（メタデータ） (2024-09-24T06:51:49Z)
• Enabling Local Editing in Diffusion Models by Joint and Individual Component Analysis [18.755311950243737]
  拡散モデル(DM)の潜伏空間は、GAN(Generative Adversarial Networks)ほど理解されていない。 最近の研究は、DMの潜在領域における教師なし意味発見に焦点を当てている。 本稿では,事前学習したDMの認知ネットワークから学習した潜在意味論を分解する教師なし手法を提案する。
  論文  参考訳（メタデータ） (2024-08-29T18:21:50Z)
• Weakly-supervised deepfake localization in diffusion-generated images [4.548755617115687]
  本稿では,Xception ネットワークをバックボーンアーキテクチャとして用いた弱教師付きローカライズ問題を提案する。 本研究では,(局所スコアに基づく)最良動作検出法は,データセットやジェネレータのミスマッチよりも,より緩やかな監視に敏感であることを示す。
  論文  参考訳（メタデータ） (2023-11-08T10:27:36Z)
• LAW-Diffusion: Complex Scene Generation by Diffusion with Layouts [107.11267074981905]
  LAW拡散(LAW-Diffusion)と呼ばれる意味制御可能なレイアウト・AWare拡散モデルを提案する。 LAW拡散は、特にコヒーレントな対象関係を持つ最先端の生成性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-08-13T08:06:18Z)
• Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
  ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。 画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。 オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
  論文  参考訳（メタデータ） (2023-07-07T04:03:48Z)
• Discovering Class-Specific GAN Controls for Semantic Image Synthesis [73.91655061467988]
  本稿では,事前訓練されたSISモデルの潜在空間において,空間的に不整合なクラス固有方向を求める新しい手法を提案する。 提案手法によって検出される潜在方向は,セマンティッククラスの局所的な外観を効果的に制御できることを示す。
  論文  参考訳（メタデータ） (2022-12-02T21:39:26Z)
• Fine-Grained Object Classification via Self-Supervised Pose Alignment [42.55938966190932]
  我々は,クラス間の自己教師型ポーズアライメントのための局所部分のグローバルな構成を明らかにするために,新しいグラフベースのオブジェクト表現を学習する。 提案手法を3つの評価対象分類ベンチマークで評価し,最先端性能を継続的に達成した。
  論文  参考訳（メタデータ） (2022-03-30T01:46:19Z)
• Region-Based Semantic Factorization in GANs [67.90498535507106]
  本稿では,任意の画像領域についてGAN(Generative Adversarial Networks)が学習した潜在意味を分解するアルゴリズムを提案する。 適切に定義された一般化されたレイリー商を通して、アノテーションや訓練なしにそのような問題を解く。 様々な最先端のGANモデルに対する実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-02-19T17:46:02Z)
• A Unified Architecture of Semantic Segmentation and Hierarchical Generative Adversarial Networks for Expression Manipulation [52.911307452212256]
  セマンティックセグメンテーションと階層的GANの統一アーキテクチャを開発する。 我々のフレームワークのユニークな利点は、将来的なセマンティックセグメンテーションネットワーク条件を生成モデルに渡すことである。 我々は,AffectNetとRaFDの2つの難解な表情翻訳ベンチマークとセマンティックセグメンテーションベンチマークであるCelebAMask-HQについて評価を行った。
  論文  参考訳（メタデータ） (2021-12-08T22:06:31Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。