論文の概要: Constant-Expansion Suffices for Compressed Sensing with Generative Priors

• arxiv url: http://arxiv.org/abs/2006.04237v2
• Date: Fri, 26 Jun 2020 16:08:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 08:38:52.604635
• Title: Constant-Expansion Suffices for Compressed Sensing with Generative Priors
• Title（参考訳）: 生成前処理による圧縮センシングにおける定数拡大効果
• Authors: Constantinos Daskalakis, Dhruv Rohatgi, Manolis Zampetakis
• Abstract要約: 我々は、ベシッツではなく、リピート理論性の緩和された概念を満たすようなランダム関数に対する新しい一様濃度を証明した。 WDCは、この問題に関するすべての理論的保証の基本的な集中不等式であるため、我々の既知のすべての改善は、1つ、低ビットリカバリなど、先行した結果に結びついている。
• 参考スコア（独自算出の注目度）: 26.41623833920794
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative neural networks have been empirically found very promising in providing effective structural priors for compressed sensing, since they can be trained to span low-dimensional data manifolds in high-dimensional signal spaces. Despite the non-convexity of the resulting optimization problem, it has also been shown theoretically that, for neural networks with random Gaussian weights, a signal in the range of the network can be efficiently, approximately recovered from a few noisy measurements. However, a major bottleneck of these theoretical guarantees is a network expansivity condition: that each layer of the neural network must be larger than the previous by a logarithmic factor. Our main contribution is to break this strong expansivity assumption, showing that constant expansivity suffices to get efficient recovery algorithms, besides it also being information-theoretically necessary. To overcome the theoretical bottleneck in existing approaches we prove a novel uniform concentration theorem for random functions that might not be Lipschitz but satisfy a relaxed notion which we call "pseudo-Lipschitzness." Using this theorem we can show that a matrix concentration inequality known as the Weight Distribution Condition (WDC), which was previously only known to hold for Gaussian matrices with logarithmic aspect ratio, in fact holds for constant aspect ratios too. Since the WDC is a fundamental matrix concentration inequality in the heart of all existing theoretical guarantees on this problem, our tighter bound immediately yields improvements in all known results in the literature on compressed sensing with deep generative priors, including one-bit recovery, phase retrieval, low-rank matrix recovery, and more.
• Abstract（参考訳）: 生成型ニューラルネットワークは、高次元信号空間において低次元のデータ多様体にまたがるように訓練できるため、圧縮センシングに効果的な構造的事前を提供する上で、実証的に非常に有望である。 その結果生じる最適化問題の非凸性にもかかわらず、ランダムなガウス重みを持つニューラルネットワークでは、ネットワークの範囲内の信号が、数回のノイズ測定からほぼ回復できることが理論的に示されている。 しかしながら、これらの理論的保証の大きなボトルネックは、ネットワークの拡張性条件であり、ニューラルネットワークの各層は対数係数によって前よりも大きくなければならない。 当社の主な貢献は、この強力な拡張性仮説を破ることであり、情報理論上必要であるだけでなく、効率的な回復アルゴリズムを得るために一定の拡張性が十分であることを示しています。 既存のアプローチにおける理論的ボトルネックを克服するために、リプシッツではなく「擬似リプシッツ性」と呼ばれる緩和された概念を満たすランダム関数に対する新しい一様集中定理を証明した。 この定理を用いて、以前は対数アスペクト比を持つガウス行列に対してしか持たなかった行列濃度の不等式であるウェイト分布条件(WDC)が、実際には定数アスペクト比でも成り立つことを示すことができる。 WDCは, 既存の理論的保証の根底にある基本行列濃度の不等式であるため, 厳密な境界は, 1ビットの回復, 位相回復, 低ランクの行列回復など, 深部生成前駆体を用いた圧縮センシングに関する文献において, 全ての既知の結果に即時改善をもたらす。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Signal Recovery with Non-Expansive Generative Network Priors [1.52292571922932]
  我々は以前に深部生成ネットワークを用いた圧縮センシングについて検討した。 ガウス生成ネットワークの範囲内の信号は、いくつかの線形測定から復元可能であることを証明した。
  論文  参考訳（メタデータ） (2022-04-24T18:47:32Z)
• Bayesian neural network priors for edge-preserving inversion [3.2046720177804646]
  重み付きニューラルネットワークの出力に基づく事前分布のクラスを導入する。 ネットワーク幅が有限である場合でも,そのような先行する標本は不連続な性質が望ましいことを理論的に示す。
  論文  参考訳（メタデータ） (2021-12-20T16:39:05Z)
• Heavy Tails in SGD and Compressibility of Overparametrized Neural Networks [9.554646174100123]
  本研究では, 勾配降下学習アルゴリズムの力学が圧縮性ネットワークの獲得に重要な役割を担っていることを示す。 我々は,ネットワークが「$ell_p$-compressible」であることが保証され,ネットワークサイズが大きくなるにつれて,異なるプルーニング手法の圧縮誤差が任意に小さくなることを示す。
  論文  参考訳（メタデータ） (2021-06-07T17:02:59Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。