論文の概要: JoIN: Joint GANs Inversion for Intrinsic Image Decomposition

• arxiv url: http://arxiv.org/abs/2305.11321v2
• Date: Tue, 23 Jan 2024 01:09:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 19:41:04.680966
• Title: JoIN: Joint GANs Inversion for Intrinsic Image Decomposition
• Title（参考訳）: Join: 固有の画像分解のための共同GANインバージョン
• Authors: Viraj Shah, Svetlana Lazebnik, Julien Philip
• Abstract要約: 我々は,GAN(Generative Adversarial Networks)のバンクを用いて,不測の逆画像問題を解決することを提案する。 提案手法は,複雑な画像分布をキャプチャするGANの実証的な成功に基づいている。
• 参考スコア（独自算出の注目度）: 16.02463667910604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we propose to solve ill-posed inverse imaging problems using a bank of Generative Adversarial Networks (GAN) as a prior and apply our method to the case of Intrinsic Image Decomposition for faces and materials. Our method builds on the demonstrated success of GANs to capture complex image distributions. At the core of our approach is the idea that the latent space of a GAN is a well-suited optimization domain to solve inverse problems. Given an input image, we propose to jointly inverse the latent codes of a set of GANs and combine their outputs to reproduce the input. Contrary to most GAN inversion methods which are limited to inverting only a single GAN, we demonstrate that it is possible to maintain distribution priors while inverting several GANs jointly. We show that our approach is modular, allowing various forward imaging models, and that it can successfully decompose both synthetic and real images.
• Abstract（参考訳）: 本稿では,gan(generative adversarial network)のバンクを先行として,不適切な逆画像問題を解くことを提案し,本手法を顔や素材の固有画像分解に適用する。 提案手法は,複雑な画像分布をキャプチャするGANの実証的な成功に基づいている。 我々のアプローチの核心は、GANの潜伏空間が逆問題を解決するのに適した最適化領域であるという考えである。 入力画像が与えられた場合、GANの集合の潜在符号を共同で反転させ、それらの出力を組み合わせて入力を再生する。 1つのGANのみを反転させるのに制限のあるほとんどのGAN反転法とは対照的に、複数のGANを共同で反転させながら、分布前を維持できることを実証する。 提案手法はモジュラーであり,様々なフォワードイメージングモデルが可能であり,合成画像と実画像の両方をうまく分解できることを示す。

関連論文リスト

• Compositional Inversion for Stable Diffusion Models [64.79261401944994]
  ユーザ画像から提供される関心の概念を取り入れてパーソナライズされた画像を生成する。 既存の方法はしばしば過度に適合する問題に悩まされ、倒立概念の圧倒的な存在が他の望ましい概念の欠如につながっている。 本稿では,合成埋め込みのコア分布への反転過程を導出する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-13T10:57:46Z)
• Prompt-tuning latent diffusion models for inverse problems [72.13952857287794]
  本稿では,テキストから画像への遅延拡散モデルを用いた逆問題の画像化手法を提案する。 P2Lと呼ばれる本手法は,超解像,デブロアリング,インパインティングなどの様々なタスクにおいて,画像拡散モデルと潜時拡散モデルに基づく逆問題解法の両方に優れる。
  論文  参考訳（メタデータ） (2023-10-02T11:31:48Z)
• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• A Variational Perspective on Solving Inverse Problems with Diffusion Models [101.831766524264]
  逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T23:00:47Z)
• StyleGAN-induced data-driven regularization for inverse problems [2.5138572116292686]
  GAN(Generative Adversarial Network)の最近の進歩は、これまで生成できなかった高解像度画像の生成の可能性を広げている。 本研究では,事前学習したStyleGAN2ジェネレータの潜在能力を生かしたフレームワークを開発した。 画像インペイントと超解像の逆問題を考えると、提案手法は最先端のGANベースの画像再構成手法と競合し、時には優位であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T22:25:30Z)
• GAN Inversion for Out-of-Range Images with Geometric Transformations [22.914126221037222]
  我々は、アウト・オブ・レンジ画像のセマンティック編集のための新しいGAN変換手法であるBDInvertを提案する。 実験の結果,BDInvertは幾何学的変換によるアウト・オブ・レンジ画像のセマンティックな編集を効果的にサポートすることがわかった。
  論文  参考訳（メタデータ） (2021-08-20T04:38:40Z)
• GAN Inversion: A Survey [125.62848237531945]
  GANインバージョンは、与えられたイメージを事前に訓練されたGANモデルの潜在空間に戻すことを目的としている。 GANインバージョンは、StyleGANやBigGANなどの事前トレーニングされたGANモデルを実際の画像編集アプリケーションに使用できるようにする上で重要な役割を果たします。
  論文  参考訳（メタデータ） (2021-01-14T14:11:00Z)
• Multimodal Image-to-Image Translation via Mutual Information Estimation and Maximization [16.54980086211836]
  マルチモーダル画像画像変換 (Multimodal image-to-image translation, I2IT) は、ソース領域の入力画像が与えられた対象領域内の複数の可能な画像を探索する条件分布を学習することを目的としている。 このような条件分布をモデル化するために、条件生成逆ネットワーク(cGAN)がよく用いられる。 本稿では,cGANにおける潜在コードと出力画像間の相互情報を明示的に推定し,最大化する手法を提案する。
  論文  参考訳（メタデータ） (2020-08-08T14:09:23Z)
• Image-to-image Mapping with Many Domains by Sparse Attribute Transfer [71.28847881318013]
  教師なし画像と画像の変換は、2つの領域間の一対のマッピングを、ポイント間の既知のペアワイズ対応なしで学習することで構成される。 現在の慣例は、サイクル一貫性のあるGANでこのタスクにアプローチすることです。 そこで本研究では,ジェネレータを直接,潜在層における単純なスパース変換に制限する代替手法を提案する。
  論文  参考訳（メタデータ） (2020-06-23T19:52:23Z)
• Reducing the Representation Error of GAN Image Priors Using the Deep Decoder [29.12824512060469]
  本稿では,GANプリエントとディープデコーダの線形結合としてイメージをモデル化することにより,GANプリエントの表現誤差を低減する手法を提案する。 圧縮センシングと画像スーパーレゾリューションのために、我々のハイブリッドモデルは、GANプリエントとディープデコーダを別々に比較すると、PSNRが常に高い値を示す。
  論文  参考訳（メタデータ） (2020-01-23T18:37:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。