論文の概要: Rayleigh EigenDirections (REDs): GAN latent space traversals for multidimensional features

• arxiv url: http://arxiv.org/abs/2201.10423v1
• Date: Tue, 25 Jan 2022 16:11:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-26 20:18:28.447635
• Title: Rayleigh EigenDirections (REDs): GAN latent space traversals for multidimensional features
• Title（参考訳）: Rayleigh EigenDirections (REDs):多次元特徴量に対するGAN潜在空間トラバーサル
• Authors: Guha Balakrishnan, Raghudeep Gadde, Aleix Martinez, Pietro Perona
• Abstract要約: 本稿では,深部生成モデルの潜在空間における経路を求める手法を提案する。 領域内の顔の同一性や画素などの画像の多次元的特徴を操作できる。 我々の研究は、多くの機会が潜在空間の幾何学と意味論の局所的解析にかかっていることを示唆している。
• 参考スコア（独自算出の注目度）: 20.11085769303415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a method for finding paths in a deep generative model's latent space that can maximally vary one set of image features while holding others constant. Crucially, unlike past traversal approaches, ours can manipulate multidimensional features of an image such as facial identity and pixels within a specified region. Our method is principled and conceptually simple: optimal traversal directions are chosen by maximizing differential changes to one feature set such that changes to another set are negligible. We show that this problem is nearly equivalent to one of Rayleigh quotient maximization, and provide a closed-form solution to it based on solving a generalized eigenvalue equation. We use repeated computations of the corresponding optimal directions, which we call Rayleigh EigenDirections (REDs), to generate appropriately curved paths in latent space. We empirically evaluate our method using StyleGAN2 on two image domains: faces and living rooms. We show that our method is capable of controlling various multidimensional features out of the scope of previous latent space traversal methods: face identity, spatial frequency bands, pixels within a region, and the appearance and position of an object. Our work suggests that a wealth of opportunities lies in the local analysis of the geometry and semantics of latent spaces.
• Abstract（参考訳）: 本稿では,ある画像の特徴を一定時間保持しながら最大に変化させることができる,深部生成モデルの潜在空間内の経路を見つける方法を提案する。 重要なことは、過去の横断的アプローチとは異なり、我々は特定の領域内の顔のアイデンティティやピクセルなどの画像の多次元的特徴を操作できる。 最適軌道方向は、ある特徴集合に対する微分変化を最大化し、他の集合への変化が無視可能であるようにすることで選択される。 この問題はレイリー商最大化の1つにほぼ等しいことを示し、一般化固有値方程式の解法に基づく閉形式解を提供する。 我々はRayleigh EigenDirections (REDs) と呼ぶ,対応する最適方向の繰り返し計算を用いて,潜時空間で適切に湾曲した経路を生成する。 顔とリビングルームの2つの画像領域において,StyleGAN2を用いた手法を実験的に評価した。 本手法は, 顔同一性, 空間周波数帯域, 領域内の画素, 物体の出現と位置といった従来の潜在空間トラバーサル法の範囲から, 様々な多次元特徴を制御できることを示す。 我々の研究は、多くの機会が潜在空間の幾何学と意味論の局所的解析にかかっていることを示唆している。

関連論文リスト

• Probabilistic Directed Distance Fields for Ray-Based Shape Representations [8.134429779950658]
  Directed Distance Fields (DDF) は、古典的な距離場の上に構築された新しいニューラルな形状表現である。 基礎分野における本質的な不連続性をモデル化する方法を示す。 次に, 単一形状のフィッティング, 生成モデリング, 単一像の3次元再構成など, DDFを応用した。
  論文  参考訳（メタデータ） (2024-04-13T21:02:49Z)
• $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction [97.06927852165464]
  単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。 条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T13:37:07Z)
• WarpedGANSpace: Finding non-linear RBF paths in GAN latent space [44.7091944340362]
  この研究は、事前訓練されたGANの潜在空間における解釈可能な経路を、教師なしの方法で発見する問題に対処する。 我々は、RBFベースの潜時空間ワープ関数の集合によってパラメトリズされた潜時空間上の非線形ワープを学習する。 本手法の特殊な場合として線形経路を導出できることを示すとともに, 遅延空間における非線形経路が画像空間におけるより急勾配, ゆがみ, 解釈可能な変化をもたらすことを実験的に示す。
  論文  参考訳（メタデータ） (2021-09-27T21:29:35Z)
• Spatial-Separated Curve Rendering Network for Efficient and High-Resolution Image Harmonization [59.19214040221055]
  本稿では,空間分離型曲線描画ネットワーク(S$2$CRNet)を提案する。 提案手法は従来の手法と比較して90%以上のパラメータを減少させる。 提案手法は,既存の手法よりも10ドル以上高速な高解像度画像をリアルタイムにスムーズに処理することができる。
  論文  参考訳（メタデータ） (2021-09-13T07:20:16Z)
• Semantic and Geometric Unfolding of StyleGAN Latent Space [2.7910505923792646]
  GAN(Generative Adversarial Network)は、画像編集において驚くほど効率的であることが証明されている。 本稿では、そのような潜在空間の2つの幾何学的制限を同定する。 正規化フローを用いてプロキシ潜在表現を学習し,これらの制限を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2021-07-09T15:12:55Z)
• DeepMesh: Differentiable Iso-Surface Extraction [53.77622255726208]
  本稿では,Deep Implicit Fieldsから表面メッシュを明示的に表現する方法を提案する。 我々の重要な洞察は、暗黙の場摂動が局所的な表面形状にどのように影響するかを推論することによって、最終的に表面サンプルの3次元位置を区別できるということである。 私たちはこれを利用して、そのトポロジを変えることができるDeepMesh – エンドツーエンドの差別化可能なメッシュ表現を定義する。
  論文  参考訳（メタデータ） (2021-06-20T20:12:41Z)
• Do Not Escape From the Manifold: Discovering the Local Coordinates on the Latent Space of GANs [7.443321740418409]
  本稿では,GAN(Generative Adversarial Networks)の中間潜伏空間上での局所幾何学的軌道方向を求める手法を提案する。 潜在空間の内在的な間隔によって動機づけられた基礎は、部分ネットワークの微分の低ランク近似問題を解くことによって発見される。
  論文  参考訳（メタデータ） (2021-06-13T10:29:42Z)
• Low-Rank Subspaces in GANs [101.48350547067628]
  この研究は、GAN生成をより正確に制御できる低ランクな部分空間を導入している。 LowRankGAN は属性多様体の低次元表現を見つけることができる。 さまざまなデータセットでトレーニングされた最先端のGANモデル(StyleGAN2やBigGANなど)の実験は、私たちのLowRankGANの有効性を示しています。
  論文  参考訳（メタデータ） (2021-06-08T16:16:32Z)
• ShaRF: Shape-conditioned Radiance Fields from a Single View [54.39347002226309]
  本稿では,単一の画像のみのオブジェクトの神経シーン表現を推定する手法を提案する。 この手法の核心は,対象物の幾何学的足場の推定である。 合成画像と実画像の両方において,提案手法の有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2021-02-17T16:40:28Z)
• The Geometry of Deep Generative Image Models and its Applications [0.0]
  generative adversarial networks (gans) は、実世界のデータセットの統計パターンをモデル化する強力な教師なし手法として登場した。 これらのネットワークは、潜在空間内のランダムな入力を学習データを表す新しいサンプルにマップするように訓練される。 潜在空間の構造は、その高い寸法性と発電機の非線形性のために内挿しが困難である。
  論文  参考訳（メタデータ） (2021-01-15T07:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。