Fugu-MT 論文翻訳(概要): Quantitative Universal Approximation Bounds for Deep Belief Networks

論文の概要: Quantitative Universal Approximation Bounds for Deep Belief Networks

arxiv url: http://arxiv.org/abs/2208.09033v1
Date: Thu, 18 Aug 2022 19:15:04 GMT
ステータス: 処理完了
システム内更新日: 2022-08-22 16:48:56.488020
Title: Quantitative Universal Approximation Bounds for Deep Belief Networks
Title（参考訳）: 深層信念ネットワークに対する定量的普遍近似境界
Authors: Julian Sieber and Johann Gehringer
Abstract要約: 二つの隠れ単位を持つ深い信念ネットワークは、任意の多変量確率密度を近似できることを示す。近似は、最大ノルムに対応する$qin[1,infty]$$$q=infty$の$Lq$-normと、Kullback-Leiblerの発散で測定される。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We show that deep belief networks with binary hidden units can approximate any multivariate probability density under very mild integrability requirements on the parental density of the visible nodes. The approximation is measured in the $L^q$-norm for $q\in[1,\infty]$ ($q=\infty$ corresponding to the supremum norm) and in Kullback-Leibler divergence. Furthermore, we establish sharp quantitative bounds on the approximation error in terms of the number of hidden units.
Abstract（参考訳）: 二元隠れ単位を持つ深層信念ネットワークは、可視ノードの親密度に対する非常に穏やかな可積分性要件の下で、任意の多変量確率密度を近似できることを示した。この近似は、$l^q$-norm for $q\in[1,\infty]$ (q=\infty$ corresponding to the supremum norm) と kullback-leibler divergence で測定される。さらに,隠れ単位数の観点から近似誤差の急激な定量的境界を確立する。

関連論文リスト

Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文参考訳（メタデータ） (2024-04-29T15:04:07Z)
Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文参考訳（メタデータ） (2023-12-18T22:29:40Z)
Quantitative CLTs in Deep Neural Networks [12.845031126178593]
ランダムなガウス重みとバイアスを持つ完全連結ニューラルネットワークの分布について検討する。我々は、大まかではあるが有限の$n$および任意の固定されたネットワーク深さで有効な正規近似の量的境界を得る。我々の境界は、それまでの文献で利用できたものよりも、ネットワーク幅に依存しているという点で厳格に強い。
論文参考訳（メタデータ） (2023-07-12T11:35:37Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Tight Exponential Analysis for Smoothing the Max-Relative Entropy and for Quantum Privacy Amplification [56.61325554836984]
最大相対エントロピーとその滑らかなバージョンは、量子情報理論の基本的な道具である。我々は、精製された距離に基づいて最大相対エントロピーを滑らかにする量子状態の小さな変化の崩壊の正確な指数を導出する。
論文参考訳（メタデータ） (2021-11-01T16:35:41Z)
High-Dimensional Distribution Generation Through Deep Neural Networks [2.141079906482723]
有界サポートのすべての$d$次元確率分布は、ディープReLUネットワークを介して生成可能であることを示す。ヒストグラム対象分布の場合,対応する生成ネットワークを符号化するために必要なビット数は,確率分布を符号化するための基本的限界と等しいことがわかった。
論文参考訳（メタデータ） (2021-07-26T20:35:52Z)
Entanglement phase transitions in random stabilizer tensor networks [5.951407144817049]
ランダム安定化器ネットワーク(RSTN)と呼ばれる局所テンソルを用いたランダムテンソルネットワークモデルのクラスを探索する。 2次元正方格子上で定義されるRTTNに対して、一次元境界状態の体積法則と面積法則の絡み合い相転移の広範な数値的研究を行う。パーコレーション共形場理論の普遍的データとして知られ、より小さな$D$で明らかな相違点を示した。
論文参考訳（メタデータ） (2021-07-26T18:00:00Z)
Spatially relaxed inference on high-dimensional linear models [48.989769153211995]
本研究では,空間的に制約されたクラスタリング,統計的推論,アンサンブルを組み合わせ,複数のクラスタリング推論解を集約するアンサンブルクラスタリング推論アルゴリズムの特性について検討する。アンサンブルクラスタ推論アルゴリズムは,最大クラスター径に等しい$delta$-FWERの標準仮定で$delta$-FWERを制御することを示す。
論文参考訳（メタデータ） (2021-06-04T16:37:19Z)
Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文参考訳（メタデータ） (2020-11-05T08:04:34Z)
Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
論文参考訳（メタデータ） (2020-07-11T22:10:52Z)
A Universal Approximation Theorem of Deep Neural Networks for Expressing Probability Distributions [12.100913944042972]
ReLU 活性化を伴う深層ニューラルネットワーク $g:mathbbRdrightarrow mathbbR$ が存在することを示す。ニューラルネットワークのサイズは、1ドルのワッサーシュタイン距離が相違点として使用される場合、$d$で指数関数的に成長することができる。
論文参考訳（メタデータ） (2020-04-19T14:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。