Fugu-MT 論文翻訳(概要): Approximating Probability Distributions by ReLU Networks

論文の概要: Approximating Probability Distributions by ReLU Networks

arxiv url: http://arxiv.org/abs/2101.09973v1
Date: Mon, 25 Jan 2021 09:31:20 GMT
ステータス: 処理完了
システム内更新日: 2021-03-14 19:15:00.384258
Title: Approximating Probability Distributions by ReLU Networks
Title（参考訳）: ReLUネットワークによる確率分布の近似
Authors: Manuj Mukherjee and Aslan Tchamkerten and Mansoor Yousefi
Abstract要約: 入力分布と近似誤差を与えられたニューラルネットワークを用いて目標確率分布を近似するニューロンはいくつ必要か? 本稿では,入力分布が均一で,対象分布がヒストグラム分布のクラスに属する場合のこの問題について検討する。我々は、これまで存在していた上界よりも厳密に優れている必須ニューロンの数に新しい上界を得る。
参考スコア（独自算出の注目度）: 15.899159309486679
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: How many neurons are needed to approximate a target probability distribution using a neural network with a given input distribution and approximation error? This paper examines this question for the case when the input distribution is uniform, and the target distribution belongs to the class of histogram distributions. We obtain a new upper bound on the number of required neurons, which is strictly better than previously existing upper bounds. The key ingredient in this improvement is an efficient construction of the neural nets representing piecewise linear functions. We also obtain a lower bound on the minimum number of neurons needed to approximate the histogram distributions.
Abstract（参考訳）: 入力分布と近似誤差を与えられたニューラルネットワークを用いて目標確率分布を近似するニューロンはいくつ必要か? 本稿では,入力分布が均一で,対象分布がヒストグラム分布のクラスに属する場合のこの問題について検討する。我々は、これまで存在していた上界よりも厳密に優れている必須ニューロンの数に新しい上界を得る。この改良の鍵となる要素は、区分線形関数を表すニューラルネットワークの効率的な構築である。また、ヒストグラム分布を近似するのに必要なニューロンの最小数について下限を得る。

関連論文リスト

On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文参考訳（メタデータ） (2022-02-02T20:11:33Z)
Approximation bounds for norm constrained neural networks with applications to regression and GANs [9.645327615996914]
本稿では,ReLUニューラルネットワークの近似誤差の上限値と下限値について,重みの基準値で検証する。我々はこれらの近似境界を適用し、ノルム制約付きニューラルネットワークを用いて回帰の収束を解析し、GANによる分布推定を行う。
論文参考訳（メタデータ） (2022-01-24T02:19:05Z)
Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文参考訳（メタデータ） (2021-10-12T01:11:07Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
High-Dimensional Distribution Generation Through Deep Neural Networks [2.141079906482723]
有界サポートのすべての$d$次元確率分布は、ディープReLUネットワークを介して生成可能であることを示す。ヒストグラム対象分布の場合,対応する生成ネットワークを符号化するために必要なビット数は,確率分布を符号化するための基本的限界と等しいことがわかった。
論文参考訳（メタデータ） (2021-07-26T20:35:52Z)
Distributional Reinforcement Learning with Unconstrained Monotonic Neural Networks [7.907645828535088]
本稿では,ランダムリターン分布の異なる表現を学習するための方法論を提案する。制約のない単調深Q-network (UMDQN) と呼ばれる新しい分布RLアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-06-06T20:03:50Z)
Arithmetic Distribution Neural Network for Background Subtraction [7.09875977818162]
背景減算時における時間画素の分布を学習するための新しい算術分布ニューラルネットワーク(ADNN)を提案する。提案手法はヒストグラムの確率情報を利用して有望な結果を得ることができる。
論文参考訳（メタデータ） (2021-04-16T22:44:58Z)
And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
この問題をより深く理解することで、情報がどのように処理され、ニューラルネットワークでエンコードされるかの理解を深めることができる。敵対的回復力を高めるという私たちの考えは、人工ニューロンがAND様ニューロンとOR様ニューロンの2つの広いカテゴリーに分けられるという観察から始まります。我々の仮説は、十分な数のOR様ニューロンのネットワークの存在は、分類「脆さ」につながり、ネットワークが敵対攻撃に対する感受性を高めることができるということです。
論文参考訳（メタデータ） (2021-02-15T08:19:05Z)
On the capacity of deep generative networks for approximating distributions [8.798333793391544]
ニューラルネットワークが一次元音源分布をワッサーシュタイン距離の高次元目標分布に任意に近い分布に変換することを証明した。近似誤差は周囲次元で最も直線的に増加することが示されている。 $f$-divergences は、サンプルを生成するための分布の指標として、Waserstein 距離よりも適切ではない。
論文参考訳（メタデータ） (2021-01-29T01:45:02Z)
Proving the Lottery Ticket Hypothesis: Pruning is All You Need [56.25432563818297]
抽選券仮説では、ランダムなdネットワークには、独立した訓練を受けた場合、元のネットワークの性能と競合する小さなサブネットワークが含まれている。我々は、全ての有界分布と、有界重みを持つ全ての対象ネットワークに対して、ランダム重みを持つ十分に過度にパラメータ化されたニューラルネットワークは、目標ネットワークとほぼ同じ精度のサブネットワークを、それ以上のトレーニングなしに含んでいることを証明し、さらに強い仮説を証明した。
論文参考訳（メタデータ） (2020-02-03T07:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。