論文の概要: Unsupervised Panoptic Interpretation of Latent Spaces in GANs Using Space-Filling Vector Quantization

• arxiv url: http://arxiv.org/abs/2410.20573v1
• Date: Sun, 27 Oct 2024 19:56:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:18:57.693191
• Title: Unsupervised Panoptic Interpretation of Latent Spaces in GANs Using Space-Filling Vector Quantization
• Title（参考訳）: 空間充足ベクトル量子化を用いたGANにおける潜時空間の無教師パノプティック解釈
• Authors: Mohammad Hassan Vali, Tom Bäckström,
• Abstract要約: GAN(Generative Adversarial Network)は、サンプルを現実世界の画像にマッピングできる潜在空間を学習する。 初期の教師付き手法は、解釈可能な潜在空間を作成したり、解釈可能な方向を発見することを目的としていた。 本研究では,空間充足ベクトル量子化 (SFVQ) と呼ばれるベクトル量子化の修正手法を提案する。
• 参考スコア（独自算出の注目度）: 9.181917968017258
• License:
• Abstract: Generative adversarial networks (GANs) learn a latent space whose samples can be mapped to real-world images. Such latent spaces are difficult to interpret. Some earlier supervised methods aim to create an interpretable latent space or discover interpretable directions that require exploiting data labels or annotated synthesized samples for training. However, we propose using a modification of vector quantization called space-filling vector quantization (SFVQ), which quantizes the data on a piece-wise linear curve. SFVQ can capture the underlying morphological structure of the latent space and thus make it interpretable. We apply this technique to model the latent space of pretrained StyleGAN2 and BigGAN networks on various datasets. Our experiments show that the SFVQ curve yields a general interpretable model of the latent space that determines which part of the latent space corresponds to what specific generative factors. Furthermore, we demonstrate that each line of SFVQ's curve can potentially refer to an interpretable direction for applying intelligible image transformations. We also showed that the points located on an SFVQ line can be used for controllable data augmentation.
• Abstract（参考訳）: GAN(Generative Adversarial Network)は、サンプルを現実世界の画像にマッピングできる潜在空間を学習する。 そのような潜在空間は解釈が難しい。 初期の教師付き手法は、解釈可能な潜在空間を作成したり、データラベルや注釈付き合成サンプルのトレーニングを必要とする解釈可能な方向を発見することを目的としていた。 しかし, 空間充足ベクトル量子化 (SFVQ) と呼ばれるベクトル量子化の修正を用いて, ピースワイド線形曲線上のデータを定量化する手法を提案する。 SFVQは潜在空間の基底構造を捉えることができ、解釈可能である。 本研究では,様々なデータセット上で事前学習したStyleGAN2ネットワークとBigGANネットワークの潜時空間をモデル化するために,この手法を適用した。 実験により、SFVQ曲線は、潜伏空間のどの部分が特定の生成因子に対応するかを決定する、潜伏空間の一般的な解釈可能なモデルが得られることが示された。 さらに、SFVQ曲線の各行が、可視画像変換を適用するための解釈可能な方向を参照できることを実証する。 また、SFVQライン上の点を制御可能なデータ拡張に利用できることを示した。

関連論文リスト

• Decoding Diffusion: A Scalable Framework for Unsupervised Analysis of Latent Space Biases and Representations Using Natural Language Prompts [68.48103545146127]
  本稿では拡散潜在空間の教師なし探索のための新しい枠組みを提案する。 我々は、自然言語のプロンプトと画像キャプションを直接利用して、遅延方向をマップする。 本手法は,拡散モデルに符号化された意味的知識をよりスケーラブルで解釈可能な理解を提供する。
  論文  参考訳（メタデータ） (2024-10-25T21:44:51Z)
• HoloNets: Spectral Convolutions do extend to Directed Graphs [59.851175771106625]
  従来の知恵は、スペクトル畳み込みネットワークは無向グラフ上にしか展開できないと規定している。 ここでは、このグラフフーリエ変換への伝統的な依存が超フルであることを示す。 本稿では,新たに開発されたフィルタの周波数応答解釈を行い,フィルタ表現に使用するベースの影響を調査し,ネットワークを基盤とする特性演算子との相互作用について議論する。
  論文  参考訳（メタデータ） (2023-10-03T17:42:09Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Linear Variational State Space Filtering [3.1219977244201065]
  変分状態空間フィルタ (VSSF) は生画素からの潜在マルコフ状態空間モデルの教師なし学習,識別,フィルタリングのための新しい手法である。 不均一なセンサ構成下での潜在状態空間推定のための理論的に健全な枠組みを提案する。 L-VSSFがトレーニングデータセットのシーケンス長を超える潜時空間でフィルタリングできることを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-04T21:28:32Z)
• Do Not Escape From the Manifold: Discovering the Local Coordinates on the Latent Space of GANs [7.443321740418409]
  本稿では,GAN(Generative Adversarial Networks)の中間潜伏空間上での局所幾何学的軌道方向を求める手法を提案する。 潜在空間の内在的な間隔によって動機づけられた基礎は、部分ネットワークの微分の低ランク近似問題を解くことによって発見される。
  論文  参考訳（メタデータ） (2021-06-13T10:29:42Z)
• EXoN: EXplainable encoder Network [0.0]
  説明可能エンコーダネットワーク(EXoN)により説明可能な潜在空間が得られる変分オートエンコーダ(VAE)の半教師付き学習手法を提案する。 負のクロスエントロピーとクルバック・リーバーの発散は説明可能な潜在空間を構成する上で重要な役割を果たす。
  論文  参考訳（メタデータ） (2021-05-23T07:04:30Z)
• EigenGAN: Layer-Wise Eigen-Learning for GANs [84.33920839885619]
  EigenGANは、異なる発電機層から解釈可能で制御可能な寸法を無監督にマイニングすることができます。 特定の固有次元の係数をトラバースすることで、ジェネレータは特定の意味属性に対応する連続的な変化を伴うサンプルを生成することができる。
  論文  参考訳（メタデータ） (2021-04-26T11:14:37Z)
• Where and What? Examining Interpretable Disentangled Representations [96.32813624341833]
  解釈可能なバリエーションの獲得は、長い間、絡み合い学習の目標の1つだった。 独立性の仮定と異なり、解釈性は教師なしの設定での絡み合いを促進するために使われることは滅多にない。 本論文では, 解釈対象と解釈対象の2つの質問について検討し, 離散表現の解釈可能性を検討する。
  論文  参考訳（メタデータ） (2021-04-07T11:22:02Z)
• The Geometry of Deep Generative Image Models and its Applications [0.0]
  generative adversarial networks (gans) は、実世界のデータセットの統計パターンをモデル化する強力な教師なし手法として登場した。 これらのネットワークは、潜在空間内のランダムな入力を学習データを表す新しいサンプルにマップするように訓練される。 潜在空間の構造は、その高い寸法性と発電機の非線形性のために内挿しが困難である。
  論文  参考訳（メタデータ） (2021-01-15T07:57:33Z)
• IntroVAC: Introspective Variational Classifiers for Learning Interpretable Latent Subspaces [6.574517227976925]
  IntroVACは、追加ラベルから情報を活用することで、解釈可能な潜在部分空間を学習する。 IntroVACは、画像属性の微調整を可能にする潜在空間における意味のある方向を学習可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-03T10:21:41Z)
• Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
  FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。 我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2019-12-30T17:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。