論文の概要: Score-Guided Intermediate Layer Optimization: Fast Langevin Mixing for Inverse Problem

• arxiv url: http://arxiv.org/abs/2206.09104v1
• Date: Sat, 18 Jun 2022 03:47:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-26 15:45:06.112494
• Title: Score-Guided Intermediate Layer Optimization: Fast Langevin Mixing for Inverse Problem
• Title（参考訳）: スコアガイドを用いた中間層最適化:逆問題に対する高速ランゲヴィン混合
• Authors: Giannis Daras and Yuval Dagan, Alexandros G. Dimakis, Constantinos Daskalakis
• Abstract要約: ランダム重み付きDNNジェネレータを反転させるため,Langevinアルゴリズムの定常分布を高速に混合し,特徴付ける。 本稿では,事前学習した生成モデルの潜時空間における後部サンプリングを提案する。
• 参考スコア（独自算出の注目度）: 97.64313409741614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We prove fast mixing and characterize the stationary distribution of the Langevin Algorithm for inverting random weighted DNN generators. This result extends the work of Hand and Voroninski from efficient inversion to efficient posterior sampling. In practice, to allow for increased expressivity, we propose to do posterior sampling in the latent space of a pre-trained generative model. To achieve that, we train a score-based model in the latent space of a StyleGAN-2 and we use it to solve inverse problems. Our framework, Score-Guided Intermediate Layer Optimization (SGILO), extends prior work by replacing the sparsity regularization with a generative prior in the intermediate layer. Experimentally, we obtain significant improvements over the previous state-of-the-art, especially in the low measurement regime.
• Abstract（参考訳）: ランダム重み付きDNNジェネレータを反転させるため,Langevinアルゴリズムの定常分布を高速に混合し,特徴付ける。 この結果により、ハンドとヴォロニンスキーの作業は効率的な逆転から効率的な後方サンプリングへと拡張される。 実際, 表現性を高めるために, 事前学習した生成モデルの潜在空間において後方サンプリングを行うことを提案する。 そこで我々は,StyleGAN-2の潜在空間におけるスコアベースモデルを訓練し,逆問題の解法として利用する。 我々のフレームワークであるScore-Guided Intermediate Layer Optimization (SGILO) は、スパーシ正規化を中間層における生成前処理に置き換えることで、事前作業を拡張する。 実験では, 従来より, 特に低測定領域において有意な改善が得られた。

関連論文リスト

• Reweighted Interacting Langevin Diffusions: an Accelerated Sampling Methodfor Optimization [28.25662317591378]
  本稿では, サンプリング手法を高速化し, 難解な最適化問題の解法を提案する。 提案手法は, 後部分布サンプリングとLangevin Dynamicsを用いた最適化の関連性について検討する。
  論文  参考訳（メタデータ） (2023-01-30T03:48:20Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• TO-FLOW: Efficient Continuous Normalizing Flows with Temporal Optimization adjoint with Moving Speed [12.168241245313164]
  連続正規化フロー (CNFs) は任意の複素分布と等方ガウス分布の間の可逆写像を構成する。 ニューラルODEトレーニングの複雑さが増しているため、大規模なデータセットでは処理できない。 本稿では,ニューラル・オード・トレーニングの前方伝播の進化時間を最適化し,時間的最適化を提案する。
  論文  参考訳（メタデータ） (2022-03-19T14:56:41Z)
• Regularized Training of Intermediate Layers for Generative Models for Inverse Problems [9.577509224534323]
  生成モデルが中間層最適化に基づくアルゴリズムを用いた逆変換を意図している場合、それらの中間層を正規化する方法で訓練すべきである。 我々はこの原理を、中間層最適化(Intermediate Layer Optimization)とMulti-Code GAN(Multi-Code GAN)という、2つの注目すべきインバージョンアルゴリズムのインスタンス化を行う。 これら2つの逆アルゴリズムに対して、新しい正規化GANトレーニングアルゴリズムを導入し、学習した生成モデルがサンプリング比の広い範囲にわたる再構成誤差を低くすることを示した。
  論文  参考訳（メタデータ） (2022-03-08T20:30:49Z)
• Traversing within the Gaussian Typical Set: Differentiable Gaussianization Layers for Inverse Problems Augmented by Normalizing Flows [0.0]
  フローの正規化のような生成ネットワークは、逆問題の拡大の前に学習ベースとして機能する。 本稿では,新しい微分可能なデータ依存層を用いて,潜在ベクトルのパラメータ化とガウス化を提案する。 我々は,PDE制約の逆問題である画像劣化タスクとエイコナールトモグラフィーを用いて,この手法を検証し,高忠実度結果を得た。
  論文  参考訳（メタデータ） (2021-12-07T17:53:09Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• Intermediate Layer Optimization for Inverse Problems using Deep Generative Models [86.29330440222199]
  ILOは、深層生成モデルを用いて逆問題を解決するための新しい最適化アルゴリズムである。 提案手法は,StyleGAN-2 や PULSE で導入した最先端手法よりも幅広い逆問題に対して優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-15T06:52:22Z)
• ROOT-SGD: Sharp Nonasymptotics and Asymptotic Efficiency in a Single Algorithm [102.61698955364831]
  我々は,過去の勾配を平均化する特定の形態を動機付け,一般統計の観点から一階最適化を考える。 emphRecursive One-Over-T SGD (ROOT-SGD) と呼ばれるこのアルゴリズムは、オンライン近似手法の最先端収束率と一致する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。