Fugu-MT 論文翻訳(概要): Shallow ReLU neural networks and finite elements

論文の概要: Shallow ReLU neural networks and finite elements

arxiv url: http://arxiv.org/abs/2403.05809v1
Date: Sat, 9 Mar 2024 06:12:06 GMT
ステータス: 処理完了
システム内更新日: 2024-03-13 12:24:45.908990
Title: Shallow ReLU neural networks and finite elements
Title（参考訳）: 浅部ReLUニューラルネットワークと有限要素
Authors: Pengzhan Jin
Abstract要約: 凸ポリトープメッシュ上の一方向線形関数は、弱い意味で2層ReLUニューラルネットワークで表現できることを示す。弱い表現に必要な2つの隠れた層のニューロンの数は、このメッシュに関わるポリトープと超平面の数に基づいて正確に与えられる。
参考スコア（独自算出の注目度）: 1.3597551064547502
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We point out that (continuous or discontinuous) piecewise linear functions on a convex polytope mesh can be represented by two-hidden-layer ReLU neural networks in a weak sense. In addition, the numbers of neurons of the two hidden layers required to weakly represent are accurately given based on the numbers of polytopes and hyperplanes involved in this mesh. The results naturally hold for constant and linear finite element functions. Such weak representation establishes a bridge between shallow ReLU neural networks and finite element functions, and leads to a perspective for analyzing approximation capability of ReLU neural networks in $L^p$ norm via finite element functions. Moreover, we discuss the strict representation for tensor finite element functions via the recent tensor neural networks.
Abstract（参考訳）: 凸ポリトープメッシュ上の(連続的あるいは不連続な)断片的線形関数は、弱い意味で2層ReLUニューラルネットワークで表現可能であることを指摘した。さらに、弱に表現するために必要とされる2つの隠れた層のニューロンの数は、このメッシュに関与するポリトープと超平面の数に基づいて正確に与えられる。結果は、定数および線形有限要素関数に対して自然に成り立つ。このような弱い表現は、浅いReLUニューラルネットワークと有限要素関数の間の橋渡しを確立し、有限要素関数を介して$L^p$ノルムでReLUニューラルネットワークの近似能力を解析するための視点をもたらす。さらに,近年のテンソルニューラルネットワークを用いたテンソル有限要素関数の厳密な表現について述べる。

関連論文リスト

Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
Points of non-linearity of functions generated by random neural networks [0.0]
1つの隠れ活性化層、任意の幅、ReLU活性化関数を持つニューラルネットワークによって出力される実数から実数への関数を考える。非線型性の点の期待分布を計算する。
論文参考訳（メタデータ） (2023-04-19T17:40:19Z)
Exploring the Approximation Capabilities of Multiplicative Neural Networks for Smooth Functions [9.936974568429173]
対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
論文参考訳（メタデータ） (2023-01-11T17:57:33Z)
On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文参考訳（メタデータ） (2022-03-27T15:22:19Z)
Linear approximability of two-layer neural networks: A comprehensive analysis based on spectral decay [4.042159113348107]
まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。また,2層ニューラルネットワークについても同様の結果が得られた。
論文参考訳（メタデータ） (2021-08-10T23:30:29Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
Infinite-dimensional Folded-in-time Deep Neural Networks [0.0]
本研究では,より厳密な数学的解析を可能にする無限次元一般化を提案する。また,重みの降下訓練を可能にする機能的バックプロパゲーションアルゴリズムを提供する。
論文参考訳（メタデータ） (2021-01-08T11:30:50Z)
The Representation Power of Neural Networks: Breaking the Curse of Dimensionality [0.0]
浅層および深層ニューラルネットワークの量に対する上限を証明します。我々はさらに、これらの境界がコロボフ函数を近似するために必要となる連続関数近似器の最小パラメータ数にほぼ一致することを証明した。
論文参考訳（メタデータ） (2020-12-10T04:44:07Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)
Piecewise linear activations substantially shape the loss surfaces of neural networks [95.73230376153872]
本稿では,ニューラルネットワークの損失面を著しく形成する線形活性化関数について述べる。我々はまず、多くのニューラルネットワークの損失面が、大域的なミニマよりも経験的リスクの高い局所的ミニマとして定義される無限の急激な局所的ミニマを持つことを証明した。一層ネットワークの場合、セル内のすべての局所ミニマが同値類であり、谷に集中しており、セル内のすべてのグローバルミニマであることを示す。
論文参考訳（メタデータ） (2020-03-27T04:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。