論文の概要: Tensor Component Analysis for Interpreting the Latent Space of GANs

• arxiv url: http://arxiv.org/abs/2111.11736v1
• Date: Tue, 23 Nov 2021 09:14:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-24 15:27:15.144102
• Title: Tensor Component Analysis for Interpreting the Latent Space of GANs
• Title（参考訳）: GANの潜時空間解釈のためのテンソル成分分析
• Authors: James Oldfield, Markos Georgopoulos, Yannis Panagakis, Mihalis A. Nicolaou, Ioannis Patras
• Abstract要約: 本稿では,GANの潜在空間における解釈可能な方向を求める問題に対処する。 提案手法では,テンソルの個々のモードに対応する線形編集と,それらの間の乗法的相互作用をモデル化する非線形編集が可能である。 実験により, 前者は幾何に基づく変換から, 後者は拡張可能な変換を生成できることを示す。
• 参考スコア（独自算出の注目度）: 41.020230946351816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the problem of finding interpretable directions in the latent space of pre-trained Generative Adversarial Networks (GANs) to facilitate controllable image synthesis. Such interpretable directions correspond to transformations that can affect both the style and geometry of the synthetic images. However, existing approaches that utilise linear techniques to find these transformations often fail to provide an intuitive way to separate these two sources of variation. To address this, we propose to a) perform a multilinear decomposition of the tensor of intermediate representations, and b) use a tensor-based regression to map directions found using this decomposition to the latent space. Our scheme allows for both linear edits corresponding to the individual modes of the tensor, and non-linear ones that model the multiplicative interactions between them. We show experimentally that we can utilise the former to better separate style- from geometry-based transformations, and the latter to generate an extended set of possible transformations in comparison to prior works. We demonstrate our approach's efficacy both quantitatively and qualitatively compared to the current state-of-the-art.
• Abstract（参考訳）: 本稿では,GAN(Pre-trained Generative Adversarial Networks)の潜在空間における解釈可能な方向を求めることで,制御可能な画像合成を容易にする。 このような解釈可能な方向は、合成画像のスタイルと形状の両方に影響を与える変換に対応する。 しかし、これらの変換を見つけるために線形手法を利用する既存のアプローチは、しばしばこれらの2つの変異源を分離する直感的な方法を提供しない。 これに対処するために 提案します a)中間表現のテンソルの多重線形分解を行い、 b) この分解を用いて得られた方向を潜在空間にマッピングするためにテンソルに基づく回帰を用いる。 本方式では,テンソルの個別モードに対応する線形編集と,それらの乗法的相互作用をモデル化する非線形編集の両方を可能にする。 実験により,前者が幾何学的変換からより優れたスタイルを分離し,後者が以前の作品と比較して可能な変換の拡張集合を生成できることを示した。 我々は,現在の技術と定量的・質的に両立する手法の有効性を示す。

関連論文リスト

• RLE: A Unified Perspective of Data Augmentation for Cross-Spectral Re-identification [59.5042031913258]
  非線型モダリティの相違は主に、異なる材料の表面に作用する様々な線形変換に由来する。 本稿では,MRLE(Modrate Random Linear Enhancement)とRRLE(Radical Random Linear Enhancement)を含むRLE(Random Linear Enhancement)戦略を提案する。 実験結果は、RLEの優位性と有効性を示すだけでなく、クロススペクトル再同定のための汎用データ拡張としての可能性も確認した。
  論文  参考訳（メタデータ） (2024-11-02T12:13:37Z)
• Affine Invariance in Continuous-Domain Convolutional Neural Networks [6.019182604573028]
  本研究では,連続領域畳み込みニューラルネットワークにおけるアフィン不変性について検討する。 アフィン変換における2つの入力信号の類似性を評価するための新しい基準を導入する。 私たちの研究は最終的には、実用的なディープラーニングパイプラインが扱える幾何学的変換の範囲を広げることができます。
  論文  参考訳（メタデータ） (2023-11-13T14:17:57Z)
• A Theory of Topological Derivatives for Inverse Rendering of Geometry [87.49881303178061]
  我々は、位相微分を用いて離散的な位相変化を可能にする微分可能な曲面進化の理論的枠組みを導入する。 2次元の閉曲線と3次元の曲面を最適化して提案理論を検証し、現在の手法の限界について考察する。
  論文  参考訳（メタデータ） (2023-08-19T00:55:55Z)
• Accelerated MRI With Deep Linear Convolutional Transform Learning [7.927206441149002]
  近年の研究では、深層学習に基づくMRI再構成は、従来の手法よりも複数の応用において優れていることが示されている。 本研究では, CS, TL, DL再構成のアイデアを組み合わせて, 深い線形畳み込み変換を学習する。 提案手法は,均一なアンダーサンプリングパターンをサポートしながら,DL法に匹敵するレベルのMR画像を再構成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-17T04:47:32Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Addressing the Topological Defects of Disentanglement via Distributed Operators [10.29148285032989]
  ゆがみに対する一般的なアプローチは、これらの因子をモデルの潜在表現の別個の部分空間にマッピングする学習である。 ここでは、画像に作用する広範な変換系に対して、この手法がトポロジ的欠陥をもたらすことを示す。 群表現論の古典的な結果に動機付けられ、より柔軟な解離へのアプローチについて研究する。
  論文  参考訳（メタデータ） (2021-02-10T18:34:55Z)
• Joint Estimation of Image Representations and their Lie Invariants [57.3768308075675]
  画像は世界の状態とコンテンツの両方をエンコードする。 この情報の自動抽出は、画像表現に固有の高次元かつ絡み合った符号化のために困難である。 本稿では,これらの課題の解決を目的とした2つの理論的アプローチを紹介する。
  論文  参考訳（メタデータ） (2020-12-05T00:07:41Z)
• Inverse Learning of Symmetries [71.62109774068064]
  2つの潜在部分空間からなるモデルで対称性変換を学ぶ。 我々のアプローチは、情報ボトルネックと連続的な相互情報正規化器の組み合わせに基づいています。 我々のモデルは, 人工的および分子的データセットにおける最先端の手法より優れている。
  論文  参考訳（メタデータ） (2020-02-07T13:48:52Z)
• Invertible Generative Modeling using Linear Rational Splines [11.510009152620666]
  正規化フローは、可逆写像の集合を通して任意の確率分布をモデル化しようとする。 最初のフロー設計ではアフィン変換に基づく結合層マッピングが用いられた。 アフィン変換の代替として機能するイントレピッドは注目されている。
  論文  参考訳（メタデータ） (2020-01-15T08:05:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。