論文の概要: Exploring Gradient-based Multi-directional Controls in GANs

• arxiv url: http://arxiv.org/abs/2209.00698v1
• Date: Thu, 1 Sep 2022 19:10:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-05 12:27:05.606308
• Title: Exploring Gradient-based Multi-directional Controls in GANs
• Title（参考訳）: GANにおける勾配に基づく多方向制御の探索
• Authors: Zikun Chen, Ruowei Jiang, Brendan Duke, Han Zhao, Parham Aarabi
• Abstract要約: 本稿では, 非線形制御の発見手法を提案する。 提案手法は,多方向・多方向特性の多種多様な属性に対してきめ細かな制御が可能であり,現状の手法よりもはるかに優れた非絡み合いを実現する能力を示す。
• 参考スコア（独自算出の注目度）: 19.950198707910587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Adversarial Networks (GANs) have been widely applied in modeling diverse image distributions. However, despite its impressive applications, the structure of the latent space in GANs largely remains as a black-box, leaving its controllable generation an open problem, especially when spurious correlations between different semantic attributes exist in the image distributions. To address this problem, previous methods typically learn linear directions or individual channels that control semantic attributes in the image space. However, they often suffer from imperfect disentanglement, or are unable to obtain multi-directional controls. In this work, in light of the above challenges, we propose a novel approach that discovers nonlinear controls, which enables multi-directional manipulation as well as effective disentanglement, based on gradient information in the learned GAN latent space. More specifically, we first learn interpolation directions by following the gradients from classification networks trained separately on the attributes, and then navigate the latent space by exclusively controlling channels activated for the target attribute in the learned directions. Empirically, with small training data, our approach is able to gain fine-grained controls over a diverse set of bi-directional and multi-directional attributes, and we showcase its ability to achieve disentanglement significantly better than state-of-the-art methods both qualitatively and quantitatively.
• Abstract（参考訳）: GAN(Generative Adversarial Networks)は多様な画像分布のモデル化に広く利用されている。 しかし、その印象的な応用にもかかわらず、GANにおける潜伏空間の構造はブラックボックスとして残っており、制御可能な生成はオープンな問題であり、特に画像分布に異なる意味的属性間の急激な相関が存在する場合である。 この問題に対処するため、従来の手法は画像空間における意味的属性を制御する線形方向や個々のチャネルを学習する。 しかし、しばしば不完全な絡み合いに悩まされるか、多方向制御ができない。 本稿では,これらの課題を踏まえ,学習したGANラテント空間の勾配情報に基づいて,多方向操作と効果的なアンタングル化を可能にする非線形制御を新たに発見する手法を提案する。 具体的には、まず属性を個別に訓練した分類ネットワークから勾配に従って補間方向を学習し、学習方向の目標属性に対して活性化されるチャネルを排他的に制御することで潜時空間をナビゲートする。 実験により,本手法は2方向・多方向属性の多種多様な属性に対してきめ細かな制御が可能であり,定性的に,定量的に,最先端の手法よりもはるかに高い歪みを実現する能力を示す。

関連論文リスト

• SC2GAN: Rethinking Entanglement by Self-correcting Correlated GAN Space [16.040942072859075]
  ある属性の編集方向に従う遺伝子ネットワークは、他の属性と絡み合った変更をもたらす可能性がある。 本稿では,低密度の潜伏コードサンプルを元の潜伏空間に再プロジェクションすることで,SC$2$GANのアンタングル化を実現する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-10T14:42:32Z)
• NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)
• High-fidelity GAN Inversion with Padding Space [38.9258619444968]
  GAN(Generative Adversarial Network)の反転は、事前訓練されたジェネレータを用いた幅広い画像編集作業を容易にする。 既存の手法では、通常、反転空間としてGANの潜伏空間を用いるが、空間詳細の回復は不十分である。 本稿では, 潜伏空間を空間情報で補うため, ジェネレータのパディング空間を包含することを提案する。
  論文  参考訳（メタデータ） (2022-03-21T16:32:12Z)
• Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
  本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。 我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。 ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
  論文  参考訳（メタデータ） (2022-02-10T06:23:56Z)
• Latent Transformations via NeuralODEs for GAN-based Image Editing [25.272389610447856]
  トレーニング可能なNeural ODEのフローとして実現された非線形潜時符号操作は、多くの実用的な非顔画像領域にとって有益であることを示す。 特に、既知の属性を持つ多数のデータセットを調査し、ある属性操作が線形シフトのみで取得することが困難であることを実証する。
  論文  参考訳（メタデータ） (2021-11-29T18:59:54Z)
• Deep Learning Approximation of Diffeomorphisms via Linear-Control Systems [91.3755431537592]
  我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。 対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
  論文  参考訳（メタデータ） (2021-10-24T08:57:46Z)
• WarpedGANSpace: Finding non-linear RBF paths in GAN latent space [44.7091944340362]
  この研究は、事前訓練されたGANの潜在空間における解釈可能な経路を、教師なしの方法で発見する問題に対処する。 我々は、RBFベースの潜時空間ワープ関数の集合によってパラメトリズされた潜時空間上の非線形ワープを学習する。 本手法の特殊な場合として線形経路を導出できることを示すとともに, 遅延空間における非線形経路が画像空間におけるより急勾配, ゆがみ, 解釈可能な変化をもたらすことを実験的に示す。
  論文  参考訳（メタデータ） (2021-09-27T21:29:35Z)
• LARGE: Latent-Based Regression through GAN Semantics [42.50535188836529]
  本稿では,少数ショットや弱ビジョンを用いた回帰課題の解法を提案する。 提案手法は,幅広い領域にまたがって適用可能であること,複数の遅延方向探索フレームワークを活用すること,そして最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-07-22T17:55:35Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Unsupervised Discovery of Disentangled Manifolds in GANs [74.24771216154105]
  解釈可能な生成プロセスは、様々な画像編集アプリケーションに有用である。 本稿では,任意の学習された生成逆数ネットワークが与えられた潜在空間における解釈可能な方向を検出する枠組みを提案する。
  論文  参考訳（メタデータ） (2020-11-24T02:18:08Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。