Fugu-MT 論文翻訳(概要): Signal Recovery with Non-Expansive Generative Network Priors

論文の概要: Signal Recovery with Non-Expansive Generative Network Priors

arxiv url: http://arxiv.org/abs/2204.13599v1
Date: Sun, 24 Apr 2022 18:47:32 GMT
ステータス: 処理完了
システム内更新日: 2022-04-29 13:14:27.130087
Title: Signal Recovery with Non-Expansive Generative Network Priors
Title（参考訳）: 非拡張型生成ネットワークプリエントによる信号回復
Authors: Jorio Cocola
Abstract要約: 我々は以前に深部生成ネットワークを用いた圧縮センシングについて検討した。ガウス生成ネットワークの範囲内の信号は、いくつかの線形測定から復元可能であることを証明した。
参考スコア（独自算出の注目度）: 1.52292571922932
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study compressive sensing with a deep generative network prior. Initial theoretical guarantees for efficient recovery from compressed linear measurements have been developed for signals in the range of a ReLU network with Gaussian weights and logarithmic expansivity: that is when each layer is larger than the previous one by a logarithmic factor. It was later shown that constant expansivity is sufficient for recovery. It has remained open whether the expansivity can be relaxed allowing for networks with contractive layers, as often the case of real generators. In this work we answer this question, proving that a signal in the range of a Gaussian generative network can be recovered from a few linear measurements provided that the width of the layers is proportional to the input layer size (up to log factors). This condition allows the generative network to have contractive layers. Our result is based on showing that Gaussian matrices satisfy a matrix concentration inequality, which we term Range Restricted Weight Distribution Condition (R2WDC), and weakens the Weight Distribution Condition (WDC) upon which previous theoretical guarantees were based on. The WDC has also been used to analyze other signal recovery problems with generative network priors. By replacing the WDC with the R2WDC, we are able to extend previous results for signal recovery with expansive generative network priors to non-expansive ones. We discuss these extensions for phase retrieval, denoising, and spiked matrix recovery.
Abstract（参考訳）: 我々は以前に深部生成ネットワークを用いた圧縮センシングについて検討した。圧縮線形測定からの効率的な回復のための初期の理論的保証は、ガウス重みと対数拡大率を持つreluネットワークの範囲の信号に対して開発されている:すなわち、各層が対数係数により前層よりも大きい場合である。後に、一定の膨張性は回復に十分であることが示された。実際のジェネレータの場合と同様に、拡張性が収縮層を持つネットワークを緩和できるかどうかについては、未解決のままである。本研究は,ガウス生成ネットワークの範囲内の信号が,入力層の大きさ(ログファクタまで)に比例して,いくつかの線形測定値から復元可能であることを証明して,この問題に答える。この条件により、生成ネットワークは収縮層を持つことができる。その結果, ガウス行列が行列濃度の不等式を満たすこと, 範囲制限重み分布条件 (R2WDC) とよばれ, 従来の理論的保証に基づく重量分布条件 (WDC) を弱めることを示した。 wdcは、生成ネットワークプリエントによる他の信号リカバリ問題の解析にも使われている。 WDCをR2WDCに置き換えることで、拡張生成ネットワークを用いて信号回復のための以前の結果を拡張することができる。本稿では,位相検索,雑音除去,スパイク行列回復のための拡張について検討する。

関連論文リスト

Feature Learning and Generalization in Deep Networks with Orthogonal Weights [1.7956122940209063]
独立なガウス分布からの数値的な重みを持つディープニューラルネットワークは臨界に調整することができる。これらのネットワークは、ネットワークの深さとともに線形に成長する変動を示す。行列のアンサンブルから得られるタン・アクティベーションと重みを持つ長方形のネットワークが、それに対応する事前アクティベーション・揺らぎを持つことを示す。
論文参考訳（メタデータ） (2023-10-11T18:00:02Z)
Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文参考訳（メタデータ） (2023-09-12T13:03:47Z)
Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文参考訳（メタデータ） (2022-12-29T20:57:46Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
Solving Inverse Problems with Conditional-GAN Prior via Fast Network-Projected Gradient Descent [11.247580943940918]
本研究では,実測条件生成モデルのためのネットワークベース射影勾配降下(NPGD)アルゴリズムについて検討する。実測条件モデルとNPGDの組み合わせは, 圧縮信号の回復に有効であり, 類似性や性能が向上し, より高速な再構成が可能であることを示す。
論文参考訳（メタデータ） (2021-09-02T17:28:05Z)
The Future is Log-Gaussian: ResNets and Their Infinite-Depth-and-Width Limit at Initialization [18.613475245655806]
ReLU ResNets in the infinite-depth-and-width limit, where both depth and width tend to infinity as their ratio, $d/n$。モンテカルロシミュレーションを用いて、標準ResNetアーキテクチャの基本的な性質でさえガウス極限で十分に捉えられていないことを示した。
論文参考訳（メタデータ） (2021-06-07T23:47:37Z)
Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
位相検索は現代の計算イメージングシステムにおいて重要な要素である。近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
論文参考訳（メタデータ） (2021-01-12T08:36:23Z)
Constant-Expansion Suffices for Compressed Sensing with Generative Priors [26.41623833920794]
我々は、ベシッツではなく、リピート理論性の緩和された概念を満たすようなランダム関数に対する新しい一様濃度を証明した。 WDCは、この問題に関するすべての理論的保証の基本的な集中不等式であるため、我々の既知のすべての改善は、1つ、低ビットリカバリなど、先行した結果に結びついている。
論文参考訳（メタデータ） (2020-06-07T19:14:41Z)
Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文参考訳（メタデータ） (2020-04-20T18:12:56Z)
A Neural Network Based on First Principles [13.554038901140949]
ニューラルネットワークは、各層が線形次元還元変換から始まると仮定して、第一原理から導かれる。この手法は最大エントロピー(MaxEnt)の原理に訴え、各層の入力データの後方分布を求める。
論文参考訳（メタデータ） (2020-02-18T10:16:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。