論文の概要: StyleGAN-induced data-driven regularization for inverse problems

• arxiv url: http://arxiv.org/abs/2110.03814v1
• Date: Thu, 7 Oct 2021 22:25:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 04:41:37.394003
• Title: StyleGAN-induced data-driven regularization for inverse problems
• Title（参考訳）: 逆問題に対するStyleGANによるデータ駆動正規化
• Authors: Arthur Conmy, Subhadip Mukherjee, and Carola-Bibiane Sch\"onlieb
• Abstract要約: GAN(Generative Adversarial Network)の最近の進歩は、これまで生成できなかった高解像度画像の生成の可能性を広げている。 本研究では,事前学習したStyleGAN2ジェネレータの潜在能力を生かしたフレームワークを開発した。 画像インペイントと超解像の逆問題を考えると、提案手法は最先端のGANベースの画像再構成手法と競合し、時には優位であることを示す。
• 参考スコア（独自算出の注目度）: 2.5138572116292686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in generative adversarial networks (GANs) have opened up the possibility of generating high-resolution photo-realistic images that were impossible to produce previously. The ability of GANs to sample from high-dimensional distributions has naturally motivated researchers to leverage their power for modeling the image prior in inverse problems. We extend this line of research by developing a Bayesian image reconstruction framework that utilizes the full potential of a pre-trained StyleGAN2 generator, which is the currently dominant GAN architecture, for constructing the prior distribution on the underlying image. Our proposed approach, which we refer to as learned Bayesian reconstruction with generative models (L-BRGM), entails joint optimization over the style-code and the input latent code, and enhances the expressive power of a pre-trained StyleGAN2 generator by allowing the style-codes to be different for different generator layers. Considering the inverse problems of image inpainting and super-resolution, we demonstrate that the proposed approach is competitive with, and sometimes superior to, state-of-the-art GAN-based image reconstruction methods.
• Abstract（参考訳）: GAN(Generative Adversarial Network)の最近の進歩は、これまで生成できなかった高解像度のフォトリアリスティック画像を生成する可能性を開いた。 高次元分布からganをサンプリングする能力は、自然に研究者が逆問題に先立って画像のモデリングにそのパワーを活用する動機となった。 我々は、現在支配的なGANアーキテクチャであるStyleGAN2ジェネレータの潜在能力を生かしたベイズ画像再構成フレームワークを開発し、基礎画像上の事前分布を構築することにより、この研究線を拡張した。 提案手法は, 生成モデル (l-brgm) を用いたベイズ復元を学習し, スタイルコードと入力潜在コードとの協調最適化を伴い, スタイルコードが異なるジェネレータ層で異なるスタイルコードを生成することによって, 事前学習されたstylegan2ジェネレータの表現力を高める。 画像インペインティングと超解像の逆問題を考えると,提案手法は最先端のganベース画像再構成法と競合し,時には優れていることを示す。

関連論文リスト

• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Hierarchical Semantic Regularization of Latent Spaces in StyleGANs [53.98170188547775]
  本稿では,階層型意味正規化器(HSR)を提案する。これは,生成元が学習した階層的表現と,事前学習したネットワークが大量のデータに基づいて学習する強力な特徴とを一致させる。 HSRは、ジェネレータ表現の改善だけでなく、潜在スタイル空間の線形性と滑らかさも示しており、より自然なスタイル編集画像の生成につながっている。
  論文  参考訳（メタデータ） (2022-08-07T16:23:33Z)
• Latent Multi-Relation Reasoning for GAN-Prior based Image Super-Resolution [61.65012981435095]
  LARENはグラフベースの非絡み合いであり、階層的マルチリレーショナル推論によってより優れた非絡み合い空間を構築する。 我々は、LARENが優れた大因子画像SRを実現し、複数のベンチマークで常に最先端の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-08-04T19:45:21Z)
• A Generic Approach for Enhancing GANs by Regularized Latent Optimization [79.00740660219256]
  本稿では,事前学習したGANを効果的かつシームレスに拡張できる,エミュレーティブモデル推論と呼ばれる汎用フレームワークを提案する。 我々の基本的な考え方は、ワッサーシュタイン勾配流法を用いて与えられた要求に対する最適潜時分布を効率的に推算することである。
  論文  参考訳（メタデータ） (2021-12-07T05:22:50Z)
• Improved Image Generation via Sparse Modeling [27.66648389933265]
  生成器は、Convolutional Sparse Coding (CSC) とそのMulti-Layeredバージョン (ML-CSC) 合成プロセスの発現として見ることができる。 この観測は、発電機内の適切な選択された活性化層にスパーシファイング正規化を明示的に強制することによって活用する。
  論文  参考訳（メタデータ） (2021-04-01T13:52:40Z)
• GAN Inversion: A Survey [125.62848237531945]
  GANインバージョンは、与えられたイメージを事前に訓練されたGANモデルの潜在空間に戻すことを目的としている。 GANインバージョンは、StyleGANやBigGANなどの事前トレーニングされたGANモデルを実際の画像編集アプリケーションに使用できるようにする上で重要な役割を果たします。
  論文  参考訳（メタデータ） (2021-01-14T14:11:00Z)
• Remote sensing image fusion based on Bayesian GAN [9.852262451235472]
  PANとMSの画像を入力として使用する2ストリームジェネレータネットワークを構築し,特徴抽出,特徴融合,画像再構成という3つの部分から構成される。 我々はマルコフ判別器を活用し、融合画像の再構成能力を高めることにより、結果画像がより詳細な情報を保持することができる。 QuickBirdとWorldViewのデータセット実験により,本論文で提案したモデルがPANとMSの画像を効果的に融合できることが示されている。
  論文  参考訳（メタデータ） (2020-09-20T16:15:51Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)
• Reducing the Representation Error of GAN Image Priors Using the Deep Decoder [29.12824512060469]
  本稿では,GANプリエントとディープデコーダの線形結合としてイメージをモデル化することにより,GANプリエントの表現誤差を低減する手法を提案する。 圧縮センシングと画像スーパーレゾリューションのために、我々のハイブリッドモデルは、GANプリエントとディープデコーダを別々に比較すると、PSNRが常に高い値を示す。
  論文  参考訳（メタデータ） (2020-01-23T18:37:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。