Fugu-MT 論文翻訳(概要): Points of non-linearity of functions generated by random neural networks

論文の概要: Points of non-linearity of functions generated by random neural networks

arxiv url: http://arxiv.org/abs/2304.09837v1
Date: Wed, 19 Apr 2023 17:40:19 GMT
ステータス: 処理完了
システム内更新日: 2023-04-20 13:15:48.658725
Title: Points of non-linearity of functions generated by random neural networks
Title（参考訳）: ランダムニューラルネットワークによる関数の非線形性のポイント
Authors: David Holmes
Abstract要約: 1つの隠れ活性化層、任意の幅、ReLU活性化関数を持つニューラルネットワークによって出力される実数から実数への関数を考える。非線型性の点の期待分布を計算する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider functions from the real numbers to the real numbers, output by a neural network with 1 hidden activation layer, arbitrary width, and ReLU activation function. We assume that the parameters of the neural network are chosen uniformly at random with respect to various probability distributions, and compute the expected distribution of the points of non-linearity. We use these results to explain why the network may be biased towards outputting functions with simpler geometry, and why certain functions with low information-theoretic complexity are nonetheless hard for a neural network to approximate.
Abstract（参考訳）: 実数から実数への関数を考える。1つの隠れ活性化層、任意の幅、およびreluアクティベーション関数を持つニューラルネットワークによって出力される。ニューラルネットワークのパラメータは、様々な確率分布に対してランダムに選択され、非線形の点の期待分布を計算すると仮定する。これらの結果を用いて、ネットワークがより単純な幾何学で関数の出力に偏っている理由と、情報理論の複雑さが低い特定の関数がニューラルネットワークに近似することが難しい理由を説明する。

関連論文リスト

Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。ネットワークが強力なデータ依存機能を取得することを示す。驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文参考訳（メタデータ） (2024-06-24T14:50:05Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文参考訳（メタデータ） (2023-03-09T10:08:34Z)
Probabilistic Verification of ReLU Neural Networks via Characteristic Functions [11.489187712465325]
我々は、周波数領域における確率理論のアイデアを用いて、ReLUニューラルネットワークの確率論的検証保証を提供する。我々は、(深い)フィードフォワードニューラルネットワークを有限地平線上の離散力学系として解釈する。出力集合の累積分布関数を求め,ネットワークが期待通りに動作しているかどうかを確認する。
論文参考訳（メタデータ） (2022-12-03T05:53:57Z)
Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
論文参考訳（メタデータ） (2022-02-24T14:22:32Z)
Optimal Approximation with Sparse Neural Networks and Applications [0.0]
深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
論文参考訳（メタデータ） (2021-08-14T05:14:13Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文参考訳（メタデータ） (2021-07-14T03:03:56Z)
No one-hidden-layer neural network can represent multivariable functions [0.0]
ニューラルネットワークによる関数近似において、各隠れ層ユニットのパラメータを最適化することにより、入力データセットを出力インデックスにマッピングする。整列線形単位(ReLU)アクティベーション関数を持つ一隠れ層ニューラルネットワークの連続バージョンを構築することにより、パラメータとその第2の導関数に制約を与える。
論文参考訳（メタデータ） (2020-06-19T06:46:54Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)
A function space analysis of finite neural networks with insights from sampling theory [41.07083436560303]
非拡張活性化関数を持つ多層ネットワークが生成する関数空間は滑らかであることを示す。入力が帯域制限の仮定の下では、新しいエラー境界を提供する。前者の利点を示す決定論的一様とランダムサンプリングの両方を解析した。
論文参考訳（メタデータ） (2020-04-15T10:25:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。