論文の概要: Provable Compressed Sensing with Generative Priors via Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2102.12643v1
• Date: Thu, 25 Feb 2021 02:35:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-26 14:02:05.764703
• Title: Provable Compressed Sensing with Generative Priors via Langevin Dynamics
• Title（参考訳）: ランゲビンダイナミクスによる創発的優先度を持つ確率圧縮センシング
• Authors: Thanh V. Nguyen, Gauri Jagatap and Chinmay Hegde
• Abstract要約: 本稿では,SGLD(Grag Langevin dynamics)の圧縮センシングへの応用について述べる。 生成モデル上の軽度の仮定の下で、我々は真の信号へのSGLDの収束を証明する。
• 参考スコア（独自算出の注目度）: 43.59745920150787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep generative models have emerged as a powerful class of priors for signals in various inverse problems such as compressed sensing, phase retrieval and super-resolution. Here, we assume an unknown signal to lie in the range of some pre-trained generative model. A popular approach for signal recovery is via gradient descent in the low-dimensional latent space. While gradient descent has achieved good empirical performance, its theoretical behavior is not well understood. In this paper, we introduce the use of stochastic gradient Langevin dynamics (SGLD) for compressed sensing with a generative prior. Under mild assumptions on the generative model, we prove the convergence of SGLD to the true signal. We also demonstrate competitive empirical performance to standard gradient descent.
• Abstract（参考訳）: ディープジェネレーションモデルは、圧縮センシング、位相探索、超解像などのさまざまな逆問題における信号の強力な優先度クラスとして出現しています。 ここで、未知の信号が事前訓練された生成モデルの範囲内にあると仮定する。 信号回復の一般的なアプローチは、低次元潜在空間における勾配降下である。 勾配降下は良好な経験的性能を達成したが、その理論的挙動はよく分かっていない。 本稿では, 確率勾配ランゲバンダイナミクス(SGLD)を用いて, 生成前の圧縮センシングについて紹介する。 生成モデル上の軽度の仮定の下で、我々は真の信号へのSGLDの収束を証明する。 また,標準勾配降下に対する競争経験的性能を示す。

関連論文リスト

• Role of Momentum in Smoothing Objective Function and Generalizability of Deep Neural Networks [0.6906005491572401]
  モーメントを有する勾配降下(SGD)における雑音は,学習速度,バッチサイズ,運動量係数,標準値の上限によって決定される目的関数を円滑にすることを示す。 また、雑音レベルに依存するアサーションモデルの一般化性を支持する実験結果も提供する。
  論文  参考訳（メタデータ） (2024-02-04T02:48:28Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Max-affine regression via first-order methods [7.12511675782289]
  最大アフィンモデルは信号処理と統計学の応用においてユビキタスに現れる。 最大アフィン回帰に対する勾配降下(GD)とミニバッチ勾配降下(SGD)の非漸近収束解析を行った。
  論文  参考訳（メタデータ） (2023-08-15T23:46:44Z)
• Score-Guided Intermediate Layer Optimization: Fast Langevin Mixing for Inverse Problem [97.64313409741614]
  ランダム重み付きDNNジェネレータを反転させるため,Langevinアルゴリズムの定常分布を高速に混合し,特徴付ける。 本稿では,事前学習した生成モデルの潜時空間における後部サンプリングを提案する。
  論文  参考訳（メタデータ） (2022-06-18T03:47:37Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• A High Probability Analysis of Adaptive SGD with Momentum [22.9530287983179]
  Gradient Descent(DSG)とその変種は、機械学習アプリケーションで最も使われているアルゴリズムである。 モーメントを持つdelayedGrad の滑らかな非設定において、勾配が 0 になる確率を初めて示す。
  論文  参考訳（メタデータ） (2020-07-28T15:06:22Z)
• When and How Can Deep Generative Models be Inverted? [28.83334026125828]
  近年, 深部生成モデル (GAN, VAE) が盛んに開発されている。 我々は、そのような生成モデルが可逆である任意の逆アルゴリズム(漸進降下、ディープエンコーダなど)に適用可能な条件を定義する。 本手法は, クリーン信号と劣化信号の両方に対して, 発生器を反転させる際の勾配勾配よりも優れることを示す。
  論文  参考訳（メタデータ） (2020-06-28T09:37:52Z)
• When Does Preconditioning Help or Hurt Generalization? [74.25170084614098]
  本稿では,第1次および第2次手法のテキスト単純バイアスが一般化特性の比較にどのように影響するかを示す。 本稿では、バイアス分散トレードオフを管理するためのいくつかのアプローチと、GDとNGDを補間する可能性について論じる。
  論文  参考訳（メタデータ） (2020-06-18T17:57:26Z)
• Federated Stochastic Gradient Langevin Dynamics [12.180900849847252]
  勾配ランゲヴィン力学(SGLD)のような勾配MCMC法は、大規模後方サンプリングを可能にするために高速だがノイズの多い勾配推定を用いる。 本稿では,局所確率近似を組み合わせ,勾配の修正を行う単純なメカニズムである導出勾配を提案する。 DSGLDが故障した場合に,本手法は遅延通信ラウンドを処理し,ターゲット後方に収束することを示す。
  論文  参考訳（メタデータ） (2020-04-23T15:25:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。