論文の概要: GAN "Steerability" without optimization

• arxiv url: http://arxiv.org/abs/2012.05328v2
• Date: Sun, 24 Jan 2021 16:50:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 01:58:44.266158
• Title: GAN "Steerability" without optimization
• Title（参考訳）: 最適化のないGAN「ステアビリティ」
• Authors: Nurit Spingarn-Eliezer, Ron Banner and Tomer Michaeli
• Abstract要約: 操縦」の方向は意味的に意味のある画像変換に対応する。 本稿では,発電機の重みから直接「ステアリング」軌道をクローズド形式で計算できることを示した。
• 参考スコア（独自算出の注目度）: 32.63317794951011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research has shown remarkable success in revealing "steering" directions in the latent spaces of pre-trained GANs. These directions correspond to semantically meaningful image transformations e.g., shift, zoom, color manipulations), and have similar interpretable effects across all categories that the GAN can generate. Some methods focus on user-specified transformations, while others discover transformations in an unsupervised manner. However, all existing techniques rely on an optimization procedure to expose those directions, and offer no control over the degree of allowed interaction between different transformations. In this paper, we show that "steering" trajectories can be computed in closed form directly from the generator's weights without any form of training or optimization. This applies to user-prescribed geometric transformations, as well as to unsupervised discovery of more complex effects. Our approach allows determining both linear and nonlinear trajectories, and has many advantages over previous methods. In particular, we can control whether one transformation is allowed to come on the expense of another (e.g. zoom-in with or without allowing translation to keep the object centered). Moreover, we can determine the natural end-point of the trajectory, which corresponds to the largest extent to which a transformation can be applied without incurring degradation. Finally, we show how transferring attributes between images can be achieved without optimization, even across different categories.
• Abstract（参考訳）: 近年の研究では、事前訓練されたGANの潜伏空間における「操舵」の方向を明らかにすることに成功した。 これらの方向は、例えばシフト、ズーム、色操作といった意味論的に意味のある画像変換に対応し、GANが生成できるすべてのカテゴリで同様の解釈可能な効果を持つ。 ユーザ指定の変換にフォーカスする手法もあるが、教師なしの方法で変換を発見する方法もある。 しかしながら、既存のすべての手法はこれらの方向を公開する最適化手順に依存しており、異なる変換間の許容される相互作用の程度を制御できない。 本稿では, 発電機の重みから直接「操舵」軌道をクローズドな形で計算でき, 訓練や最適化は行わないことを示す。 これは、ユーザが指定した幾何学的変換や、より複雑な効果の教師なし発見に適用できる。 提案手法は線形軌道と非線形軌道の両方を決定できるため,従来の手法よりも多くの利点がある。 特に、ある変換が別の変換を犠牲にすることを許すかどうか(例)を制御できる。 翻訳が対象を中心にしておくことを許さないか、でズームインする)。 さらに、軌道の自然な端点を決定できるが、これは変換が劣化を起こすことなく適用できる最大の範囲に対応する。 最後に,画像間の属性の転送を最適化することなく,カテゴリ毎に行う方法を示す。

関連論文リスト

• Adaptive Nonlinear Latent Transformation for Conditional Face Editing [40.32385363670918]
  本稿では,AdaTrans と呼ばれる不整合および条件付き顔編集のための適応型非線形潜時変換を提案する。 AdaTransは、操作プロセスをいくつかの細かいステップに分割する。つまり、各ステップの方向と大きさは、顔属性と潜伏符号の両方で条件付けられる。 AdaTransは、切り離し、非バイナリ属性による柔軟性、高忠実さの利点により、制御可能な顔編集を可能にする。
  論文  参考訳（メタデータ） (2023-07-15T12:36:50Z)
• ParGAN: Learning Real Parametrizable Transformations [50.51405390150066]
  本稿では、画像変換学習のためのサイクル一貫性GANフレームワークの一般化であるParGANを提案する。 提案したジェネレータは、画像と変換のパラメトリゼーションの両方を入力とする。 注釈付きパラメトリゼーションを伴わない不整合画像領域では、このフレームワークはスムーズな生成が可能であり、同時に複数の変換を学習できることを示す。
  論文  参考訳（メタデータ） (2022-11-09T16:16:06Z)
• Overparameterization Improves StyleGAN Inversion [66.8300251627992]
  既存の反転アプローチは、有望だが不完全な結果が得られる。 これにより、エンコーダを必要とせずに、ほぼ完璧な画像再構成が得られることを示す。 われわれのアプローチは、画像間の現実的な補間による編集可能性も維持する。
  論文  参考訳（メタデータ） (2022-05-12T18:42:43Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Tensor Component Analysis for Interpreting the Latent Space of GANs [41.020230946351816]
  本稿では,GANの潜在空間における解釈可能な方向を求める問題に対処する。 提案手法では,テンソルの個々のモードに対応する線形編集と,それらの間の乗法的相互作用をモデル化する非線形編集が可能である。 実験により, 前者は幾何に基づく変換から, 後者は拡張可能な変換を生成できることを示す。
  論文  参考訳（メタデータ） (2021-11-23T09:14:39Z)
• Unsupervised Discovery of Disentangled Manifolds in GANs [74.24771216154105]
  解釈可能な生成プロセスは、様々な画像編集アプリケーションに有用である。 本稿では,任意の学習された生成逆数ネットワークが与えられた潜在空間における解釈可能な方向を検出する枠組みを提案する。
  論文  参考訳（メタデータ） (2020-11-24T02:18:08Z)
• Data Augmentation via Structured Adversarial Perturbations [25.31035665982414]
  そこで本研究では,所望の自然構造を維持する逆例を生成する手法を提案する。 我々はこの手法を、測光と幾何の2種類の画像変換を通して実証する。
  論文  参考訳（メタデータ） (2020-11-05T18:07:55Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Deriving Differential Target Propagation from Iterating Approximate Inverses [91.3755431537592]
  本稿では,各層が学習した逆数に依存するターゲット伝搬の特定の形態が,ガウス-ニュートン勾配に基づく近似最適化に対応する更新規則を導出することを示す。 そこで我々は,各層における局所的自動エンコーダに基づく反復計算について検討し,より正確な目標伝搬のインバージョンを実現する。
  論文  参考訳（メタデータ） (2020-07-29T22:34:45Z)
• A Novel Graphic Bending Transformation on Benchmark [6.6326947833070395]
  本稿では, 関数の形状を変形させるために, ベンチマーク問題に対する新しい図形等角写像変換について検討する。 実験では、回転したバージョンよりも探索予算が増加し、共形曲がり関数により多くの障害が発生することが示されている。
  論文  参考訳（メタデータ） (2020-04-21T14:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。