論文の概要: Regularized Training of Intermediate Layers for Generative Models for Inverse Problems

• arxiv url: http://arxiv.org/abs/2203.04382v1
• Date: Tue, 8 Mar 2022 20:30:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-10 14:19:12.133197
• Title: Regularized Training of Intermediate Layers for Generative Models for Inverse Problems
• Title（参考訳）: 逆問題生成モデルのための中間層の正規化学習
• Authors: Sean Gunn, Jorio Cocola, Paul Hand
• Abstract要約: 生成モデルが中間層最適化に基づくアルゴリズムを用いた逆変換を意図している場合、それらの中間層を正規化する方法で訓練すべきである。 我々はこの原理を、中間層最適化(Intermediate Layer Optimization)とMulti-Code GAN(Multi-Code GAN)という、2つの注目すべきインバージョンアルゴリズムのインスタンス化を行う。 これら2つの逆アルゴリズムに対して、新しい正規化GANトレーニングアルゴリズムを導入し、学習した生成モデルがサンプリング比の広い範囲にわたる再構成誤差を低くすることを示した。
• 参考スコア（独自算出の注目度）: 9.577509224534323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Adversarial Networks (GANs) have been shown to be powerful and flexible priors when solving inverse problems. One challenge of using them is overcoming representation error, the fundamental limitation of the network in representing any particular signal. Recently, multiple proposed inversion algorithms reduce representation error by optimizing over intermediate layer representations. These methods are typically applied to generative models that were trained agnostic of the downstream inversion algorithm. In our work, we introduce a principle that if a generative model is intended for inversion using an algorithm based on optimization of intermediate layers, it should be trained in a way that regularizes those intermediate layers. We instantiate this principle for two notable recent inversion algorithms: Intermediate Layer Optimization and the Multi-Code GAN prior. For both of these inversion algorithms, we introduce a new regularized GAN training algorithm and demonstrate that the learned generative model results in lower reconstruction errors across a wide range of under sampling ratios when solving compressed sensing, inpainting, and super-resolution problems.
• Abstract（参考訳）: generative adversarial network (gans) は、逆問題を解く際に強力で柔軟な優先事項であることが示されている。 それらを使用する1つの課題は、特定の信号を表すネットワークの基本的制限である表現エラーを克服することである。 近年,複数の反転アルゴリズムが中間層表現を最適化することで表現誤差を低減している。 これらの手法は典型的には、下流反転アルゴリズムの訓練を受けない生成モデルに適用される。 本研究では,中間層最適化に基づくアルゴリズムを用いて生成モデルが反転を意図するならば,それらの中間層を正規化する方法で学習する必要があるという原理を導入する。 我々は、この原理を、中間層最適化とマルチコードganプリレントという、最近の注目すべき2つの反転アルゴリズムのためにインスタンス化する。 これら2つの逆解析アルゴリズムについて,新しい正規化gan学習アルゴリズムを導入し,圧縮センシング,インパインティング,スーパーレゾリューション問題を解く際に,学習した生成モデルが幅広いサンプリング率において,再構成誤差を低減させることを示す。

関連論文リスト

• Diffusion Models as Network Optimizers: Explorations and Analysis [71.69869025878856]
  生成拡散モデル(GDM)は,ネットワーク最適化の新しいアプローチとして期待されている。 本研究ではまず,生成モデルの本質的な特徴について考察する。 本稿では,識別的ネットワーク最適化よりも生成モデルの利点を簡潔かつ直感的に示す。
  論文  参考訳（メタデータ） (2024-11-01T09:05:47Z)
• A Primal-dual algorithm for image reconstruction with ICNNs [3.4797100095791706]
  我々は、正規化器が入力ニューラルネットワーク(ICNN)によってパラメータ化されるデータ駆動変分フレームワークにおける最適化問題に対処する。 勾配に基づく手法はそのような問題を解決するのに一般的に用いられるが、非滑らかさを効果的に扱うのに苦労する。 提案手法は, 速度と安定性の両方の観点から, 下位段階の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-16T10:36:29Z)
• A Compound Gaussian Least Squares Algorithm and Unrolled Network for Linear Inverse Problems [1.283555556182245]
  本稿では,線形逆問題に対する2つの新しいアプローチを提案する。 1つ目は、正規化された最小二乗目的関数を最小化する反復アルゴリズムである。 2つ目は、反復アルゴリズムの「アンロール」または「アンフォールディング」に対応するディープニューラルネットワークである。
  論文  参考訳（メタデータ） (2023-05-18T17:05:09Z)
• Score-Guided Intermediate Layer Optimization: Fast Langevin Mixing for Inverse Problem [97.64313409741614]
  ランダム重み付きDNNジェネレータを反転させるため,Langevinアルゴリズムの定常分布を高速に混合し,特徴付ける。 本稿では,事前学習した生成モデルの潜時空間における後部サンプリングを提案する。
  論文  参考訳（メタデータ） (2022-06-18T03:47:37Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Revisiting Recursive Least Squares for Training Deep Neural Networks [10.44340837533087]
  再帰最小二乗法(RLS)アルゴリズムは、その高速収束のため、かつては小規模ニューラルネットワークのトレーニングに広く用いられていた。 従来のRSSアルゴリズムは、計算複雑性が高く、事前条件が多すぎるため、ディープニューラルネットワーク(DNN)のトレーニングには適さない。 本稿では,フィードフォワードニューラルネットワーク,畳み込みニューラルネットワーク,リカレントニューラルネットワークの3つの新しいRSS最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-07T17:43:51Z)
• Provably Convergent Algorithms for Solving Inverse Problems Using Generative Models [47.208080968675574]
  より完全な理解を伴う逆問題における生成モデルの利用について検討する。 我々は様々な逆問題を解くための実験結果を用いて主張を支持する。 我々は,モデルミスマッチ(生成前処理が必ずしも適用されない状況)を処理する手法の拡張を提案する。
  論文  参考訳（メタデータ） (2021-05-13T15:58:27Z)
• Intermediate Layer Optimization for Inverse Problems using Deep Generative Models [86.29330440222199]
  ILOは、深層生成モデルを用いて逆問題を解決するための新しい最適化アルゴリズムである。 提案手法は,StyleGAN-2 や PULSE で導入した最先端手法よりも幅広い逆問題に対して優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-15T06:52:22Z)
• Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
  本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。