論文の概要: How do Minimum-Norm Shallow Denoisers Look in Function Space?
- arxiv url: http://arxiv.org/abs/2311.06748v2
- Date: Tue, 16 Jan 2024 08:35:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 00:46:48.198255
- Title: How do Minimum-Norm Shallow Denoisers Look in Function Space?
- Title（参考訳）: ミニマル・ノーム・シャロー・デノイザは関数空間でどのように見えるか?
- Authors: Chen Zeno, Greg Ongie, Yaniv Blumenfeld, Nir Weinberger, Daniel Soudry
- Abstract要約: ニューラルネットワーク(NN)デノイザは多くの共通タスクにおいて必須のビルディングブロックである。
表現コストを最小に抑えながら、浅いReLU NNデノイザによって実現される関数を特徴付ける。
- 参考スコア（独自算出の注目度）: 36.14517933550934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural network (NN) denoisers are an essential building block in many common
tasks, ranging from image reconstruction to image generation. However, the
success of these models is not well understood from a theoretical perspective.
In this paper, we aim to characterize the functions realized by shallow ReLU NN
denoisers -- in the common theoretical setting of interpolation (i.e., zero
training loss) with a minimal representation cost (i.e., minimal $\ell^2$ norm
weights). First, for univariate data, we derive a closed form for the NN
denoiser function, find it is contractive toward the clean data points, and
prove it generalizes better than the empirical MMSE estimator at a low noise
level. Next, for multivariate data, we find the NN denoiser functions in a
closed form under various geometric assumptions on the training data: data
contained in a low-dimensional subspace, data contained in a union of one-sided
rays, or several types of simplexes. These functions decompose into a sum of
simple rank-one piecewise linear interpolations aligned with edges and/or faces
connecting training samples. We empirically verify this alignment phenomenon on
synthetic data and real images.
- Abstract（参考訳）: ニューラルネットワーク(NN)デノイザは、画像再構成から画像生成まで、多くの共通タスクにおいて必須のビルディングブロックである。
しかし、これらのモデルの成功は理論的観点からはよく理解されていない。
本稿では,浅いReLU NNデノイザによって実現される関数を,最小表現コスト(最小の$\ell^2$標準重み)で補間(ゼロトレーニング損失)の一般的な理論的設定で特徴付けることを目的とする。
まず、単変量データに対して、NNデノイザ関数の閉形式を導出し、クリーンなデータ点に対して収縮的であることを確認し、低雑音レベルにおける経験的MMSE推定器よりも優れた一般化を証明した。
次に,低次元部分空間に含まれるデータ,片側線合体に含まれるデータ,あるいはいくつかの種類の単純なデータといった,トレーニングデータ上の幾何的仮定の下で,NNデノイザ関数を閉じた形で発見する。
これらの関数は、エッジや/またはトレーニングサンプルを接続する面と整列した単純なランクワンの線形補間の和に分解される。
我々はこのアライメント現象を合成データと実画像で実証的に検証する。
関連論文リスト
- Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳（メタデータ） (2024-02-07T16:32:29Z) - Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias
for Correlated Inputs [5.7166378791349315]
我々は、単一ニューロンを学習する基本的な回帰タスクとして、1つの隠れた層ReLUネットワークをトレーニングすると、損失がゼロとなることを証明した。
また、最小ランクの補間ネットワークと最小ユークリッドノルムの補間ネットワークのこの設定において、驚くべき区別を示し、特徴付ける。
論文 参考訳（メタデータ） (2023-06-10T16:36:22Z) - Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳（メタデータ） (2023-02-14T23:50:53Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳（メタデータ） (2022-12-05T14:47:52Z) - Benign Overfitting without Linearity: Neural Network Classifiers Trained
by Gradient Descent for Noisy Linear Data [44.431266188350655]
勾配降下による一般化を訓練した2層ニューラルネットワークの一般化誤差を考察する。
ニューラルネットワークはトレーニングエラーをゼロにし、ノイズの多いトレーニングラベルを完璧に適合させ、同時に最小限のテストエラーを達成できる。
線形あるいはカーネルベースの予測器を必要とする良性オーバーフィッティングに関するこれまでの研究とは対照的に、我々の分析はモデルと学習力学の両方が基本的に非線形であるような環境で成り立っている。
論文 参考訳（メタデータ） (2022-02-11T23:04:00Z) - Deep learning for inverse problems with unknown operator [0.0]
フォワード演算子$T$が未知の逆問題では、関数$f_i$とノイズの多いイメージ$Tf_i$からなるトレーニングデータにアクセスできます。
本稿では,データに最小限の仮定を必要とする新しい手法を提案し,学習点数と雑音レベルに依存する再現率を示す。
論文 参考訳（メタデータ） (2021-08-05T17:21:12Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Implicit Geometric Regularization for Learning Shapes [34.052738965233445]
生データから直接高忠実度暗黙的ニューラル表現を計算するための新しいパラダイムを提供する。
提案手法は,従来の手法と比較して,高い精度と忠実度を有する暗黙的ニューラル表現の状態を導出することを示す。
論文 参考訳（メタデータ） (2020-02-24T07:36:32Z) - Unique Properties of Flat Minima in Deep Networks [44.21198403467404]
2次損失で訓練された線形ニューラルネットワークにおける平坦なミニマを特徴付ける。
実験により、これらの性質は実際に訓練された線形モデルと非線形モデルの両方の特徴であることが示されている。
論文 参考訳（メタデータ） (2020-02-11T22:01:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。