論文の概要: Points of non-linearity of functions generated by random neural networks
- arxiv url: http://arxiv.org/abs/2304.09837v1
- Date: Wed, 19 Apr 2023 17:40:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-20 13:15:48.658725
- Title: Points of non-linearity of functions generated by random neural networks
- Title(参考訳): ランダムニューラルネットワークによる関数の非線形性のポイント
- Authors: David Holmes
- Abstract要約: 1つの隠れ活性化層、任意の幅、ReLU活性化関数を持つニューラルネットワークによって出力される実数から実数への関数を考える。
非線型性の点の期待分布を計算する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider functions from the real numbers to the real numbers, output by a
neural network with 1 hidden activation layer, arbitrary width, and ReLU
activation function. We assume that the parameters of the neural network are
chosen uniformly at random with respect to various probability distributions,
and compute the expected distribution of the points of non-linearity. We use
these results to explain why the network may be biased towards outputting
functions with simpler geometry, and why certain functions with low
information-theoretic complexity are nonetheless hard for a neural network to
approximate.
- Abstract(参考訳): 実数から実数への関数を考える。1つの隠れ活性化層、任意の幅、およびreluアクティベーション関数を持つニューラルネットワークによって出力される。
ニューラルネットワークのパラメータは、様々な確率分布に対してランダムに選択され、非線形の点の期待分布を計算すると仮定する。
これらの結果を用いて、ネットワークがより単純な幾何学で関数の出力に偏っている理由と、情報理論の複雑さが低い特定の関数がニューラルネットワークに近似することが難しい理由を説明する。
関連論文リスト
- Universal Approximation Property of Random Neural Networks [3.943289808718775]
ボヒナー空間の大規模なクラス内での普遍近似を証明する。
ランダムニューラルネットワークによって決定論的関数を学習するための近似率と明示的アルゴリズムを導出する。
論文 参考訳(メタデータ) (2023-12-13T11:27:15Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳(メタデータ) (2023-04-17T14:23:43Z) - Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。
次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文 参考訳(メタデータ) (2023-03-09T10:08:34Z) - Probabilistic Verification of ReLU Neural Networks via Characteristic
Functions [11.489187712465325]
我々は、周波数領域における確率理論のアイデアを用いて、ReLUニューラルネットワークの確率論的検証保証を提供する。
我々は、(深い)フィードフォワードニューラルネットワークを有限地平線上の離散力学系として解釈する。
出力集合の累積分布関数を求め,ネットワークが期待通りに動作しているかどうかを確認する。
論文 参考訳(メタデータ) (2022-12-03T05:53:57Z) - Optimal Learning Rates of Deep Convolutional Neural Networks: Additive
Ridge Functions [19.762318115851617]
深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。
付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
論文 参考訳(メタデータ) (2022-02-24T14:22:32Z) - Optimal Approximation with Sparse Neural Networks and Applications [0.0]
深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。
また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。
次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
論文 参考訳(メタデータ) (2021-08-14T05:14:13Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳(メタデータ) (2021-07-14T03:03:56Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳(メタデータ) (2021-01-31T11:32:30Z) - No one-hidden-layer neural network can represent multivariable functions [0.0]
ニューラルネットワークによる関数近似において、各隠れ層ユニットのパラメータを最適化することにより、入力データセットを出力インデックスにマッピングする。
整列線形単位(ReLU)アクティベーション関数を持つ一隠れ層ニューラルネットワークの連続バージョンを構築することにより、パラメータとその第2の導関数に制約を与える。
論文 参考訳(メタデータ) (2020-06-19T06:46:54Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳(メタデータ) (2020-06-16T07:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。