論文の概要: Score-Guided Intermediate Layer Optimization: Fast Langevin Mixing for Inverse Problem

• arxiv url: http://arxiv.org/abs/2206.09104v1
• Date: Sat, 18 Jun 2022 03:47:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-26 15:45:06.112494
• Title: Score-Guided Intermediate Layer Optimization: Fast Langevin Mixing for Inverse Problem
• Title（参考訳）: スコアガイドを用いた中間層最適化:逆問題に対する高速ランゲヴィン混合
• Authors: Giannis Daras and Yuval Dagan, Alexandros G. Dimakis, Constantinos Daskalakis
• Abstract要約: ランダム重み付きDNNジェネレータを反転させるため,Langevinアルゴリズムの定常分布を高速に混合し,特徴付ける。 本稿では,事前学習した生成モデルの潜時空間における後部サンプリングを提案する。
• 参考スコア（独自算出の注目度）: 97.64313409741614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We prove fast mixing and characterize the stationary distribution of the Langevin Algorithm for inverting random weighted DNN generators. This result extends the work of Hand and Voroninski from efficient inversion to efficient posterior sampling. In practice, to allow for increased expressivity, we propose to do posterior sampling in the latent space of a pre-trained generative model. To achieve that, we train a score-based model in the latent space of a StyleGAN-2 and we use it to solve inverse problems. Our framework, Score-Guided Intermediate Layer Optimization (SGILO), extends prior work by replacing the sparsity regularization with a generative prior in the intermediate layer. Experimentally, we obtain significant improvements over the previous state-of-the-art, especially in the low measurement regime.
• Abstract（参考訳）: ランダム重み付きDNNジェネレータを反転させるため,Langevinアルゴリズムの定常分布を高速に混合し,特徴付ける。 この結果により、ハンドとヴォロニンスキーの作業は効率的な逆転から効率的な後方サンプリングへと拡張される。 実際, 表現性を高めるために, 事前学習した生成モデルの潜在空間において後方サンプリングを行うことを提案する。 そこで我々は,StyleGAN-2の潜在空間におけるスコアベースモデルを訓練し,逆問題の解法として利用する。 我々のフレームワークであるScore-Guided Intermediate Layer Optimization (SGILO) は、スパーシ正規化を中間層における生成前処理に置き換えることで、事前作業を拡張する。 実験では, 従来より, 特に低測定領域において有意な改善が得られた。

関連論文リスト

• Posterior sampling via Langevin dynamics based on generative priors [31.84543941736757]
  生成モデルを用いた高次元空間における後方サンプリングは、様々な応用に有望である。 既存の手法では、新しいサンプルごとに生成プロセス全体を再起動する必要があるため、計算コストがかかる。 事前学習した生成モデルの雑音空間におけるランゲヴィンダイナミクスをシミュレーションし,効率的な後部サンプリングを提案する。
  論文  参考訳（メタデータ） (2024-10-02T22:57:47Z)
• Covariance-Adaptive Sequential Black-box Optimization for Diffusion Targeted Generation [60.41803046775034]
  ユーザのブラックボックス目標スコアのみを用いた拡散モデルを用いて,ユーザ優先のターゲット生成を行う方法を示す。 数値実験問題と目標誘導型3次元分子生成タスクの両方の実験により,より優れた目標値を得る上で,本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2024-06-02T17:26:27Z)
• Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
  近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。 この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
  論文  参考訳（メタデータ） (2024-02-03T13:35:39Z)
• Improving sample efficiency of high dimensional Bayesian optimization with MCMC [7.241485121318798]
  本稿ではマルコフ・チェイン・モンテカルロに基づく新しい手法を提案する。 提案アルゴリズムのMetropolis-HastingsとLangevin Dynamicsの両バージョンは、高次元逐次最適化および強化学習ベンチマークにおいて最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-05T05:56:42Z)
• Generative Modeling with Phase Stochastic Bridges [49.4474628881673]
  拡散モデル(DM)は、連続入力のための最先端の生成モデルを表す。 我々はtextbfphase space dynamics に基づく新しい生成モデリングフレームワークを提案する。 我々のフレームワークは、動的伝播の初期段階において、現実的なデータポイントを生成する能力を示す。
  論文  参考訳（メタデータ） (2023-10-11T18:38:28Z)
• Reweighted Interacting Langevin Diffusions: an Accelerated Sampling Methodfor Optimization [28.25662317591378]
  本稿では, サンプリング手法を高速化し, 難解な最適化問題の解法を提案する。 提案手法は, 後部分布サンプリングとLangevin Dynamicsを用いた最適化の関連性について検討する。
  論文  参考訳（メタデータ） (2023-01-30T03:48:20Z)
• Regularized Training of Intermediate Layers for Generative Models for Inverse Problems [9.577509224534323]
  生成モデルが中間層最適化に基づくアルゴリズムを用いた逆変換を意図している場合、それらの中間層を正規化する方法で訓練すべきである。 我々はこの原理を、中間層最適化(Intermediate Layer Optimization)とMulti-Code GAN(Multi-Code GAN)という、2つの注目すべきインバージョンアルゴリズムのインスタンス化を行う。 これら2つの逆アルゴリズムに対して、新しい正規化GANトレーニングアルゴリズムを導入し、学習した生成モデルがサンプリング比の広い範囲にわたる再構成誤差を低くすることを示した。
  論文  参考訳（メタデータ） (2022-03-08T20:30:49Z)
• Intermediate Layer Optimization for Inverse Problems using Deep Generative Models [86.29330440222199]
  ILOは、深層生成モデルを用いて逆問題を解決するための新しい最適化アルゴリズムである。 提案手法は,StyleGAN-2 や PULSE で導入した最先端手法よりも幅広い逆問題に対して優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-15T06:52:22Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。