Fugu-MT 論文翻訳(概要): On Expressivity of Height in Neural Networks

論文の概要: On Expressivity of Height in Neural Networks

arxiv url: http://arxiv.org/abs/2305.07037v2
Date: Sat, 04 Jan 2025 02:25:06 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-07 17:02:46.498960
Title: On Expressivity of Height in Neural Networks
Title（参考訳）: ニューラルネットワークにおける高さの表現性について
Authors: Feng-Lei Fan, Ze-Yu Li, Huan Xiong, Tieyong Zeng,
Abstract要約: 私たちは、幅、深さ、高さが特徴のニューラルネットワークを3Dネットワークと呼んでいる。我々は、同じ数のニューロンとパラメータを与えられた場合、幅$W$、深さ$K$、高さ$H$の3D ReLUネットワークは、幅$Htimes W$および深さ$K$の2Dネットワークよりも表現力が高いことを示す。
参考スコア（独自算出の注目度）: 29.49793694185358
License:
Abstract: In this work, beyond width and depth, we augment a neural network with a new dimension called height by intra-linking neurons in the same layer to create an intra-layer hierarchy, which gives rise to the notion of height. We call a neural network characterized by width, depth, and height a 3D network. To put a 3D network in perspective, we theoretically and empirically investigate the expressivity of height. We show via bound estimation and explicit construction that given the same number of neurons and parameters, a 3D ReLU network of width $W$, depth $K$, and height $H$ has greater expressive power than a 2D network of width $H\times W$ and depth $K$, \textit{i.e.}, $\mathcal{O}((2^H-1)W)^K)$ vs $\mathcal{O}((HW)^K)$, in terms of generating more pieces in a piecewise linear function. Next, through approximation rate analysis, we show that by introducing intra-layer links into networks, a ReLU network of width $\mathcal{O}(W)$ and depth $\mathcal{O}(K)$ can approximate polynomials in $[0,1]^d$ with error $\mathcal{O}\left(2^{-2WK}\right)$, which improves $\mathcal{O}\left(W^{-K}\right)$ and $\mathcal{O}\left(2^{-K}\right)$ for fixed width networks. Lastly, numerical experiments on 5 synthetic datasets, 15 tabular datasets, and 3 image benchmarks verify that 3D networks can deliver competitive regression and classification performance.
Abstract（参考訳）: この研究は、幅と深さを超えて、同じ層内のニューロンをイントラリンクすることで、ハイトと呼ばれる新しい次元のニューラルネットワークを強化し、階層内階層を作り、高さの概念を生み出します。私たちは、幅、深さ、高さが特徴のニューラルネットワークを3Dネットワークと呼んでいる。本研究では,3次元ネットワークを視点として,高さの表現性について理論的かつ実証的に検討する。同じ数のニューロンとパラメータが与えられた場合、幅$W$、深さ$K$、高さ$H$の3D ReLUネットワークは、幅$H\times W$と深さ$K$、幅$K$と深さ$K.e.}、$\mathcal{O}((2^H-1)W)^K)$と$\mathcal{O}((HW)^K)$の2Dネットワークよりも表現力が高いことを示す。次に、近似速度解析により、幅$\mathcal{O}(W)$と深さ$\mathcal{O}(K)$のReLUネットワークをネットワークに導入することにより、固定幅ネットワークに対して$[0,1]^d$と誤差$\mathcal{O}\left(2^{-2WK}\right)$と$\mathcal{O}\left(2^{-K}\right)$の近似多項式を適用できることを示す。最後に、5つの合成データセット、15の表データセット、3つの画像ベンチマークに関する数値実験により、3Dネットワークが競合レグレッションと分類性能を提供できることが検証された。

関連論文リスト

Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
論文参考訳（メタデータ） (2024-09-10T14:31:21Z)
Implicit Hypersurface Approximation Capacity in Deep ReLU Networks [0.0]
本稿では,ReLUアクティベーションを用いたディープフィードフォワードニューラルネットワークの幾何近似理論を開発する。幅$d+1$の深い完全連結ReLUネットワークは、そのゼロ輪郭として暗黙的に近似を構成することができることを示す。
論文参考訳（メタデータ） (2024-07-04T11:34:42Z)
Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
論文参考訳（メタデータ） (2024-05-26T17:08:04Z)
Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文参考訳（メタデータ） (2023-11-23T02:19:32Z)
Rates of Approximation by ReLU Shallow Neural Networks [8.22379888383833]
隠れたニューロンが$m$のReLU浅部ニューラルネットワークは、H"古い空間からの関数を均一に近似できることを示す。そのようなレートは$O(m-fracrd)$に非常に近いが、$fracd+2d+4d+4$は、$d$が大きければ1ドルに近いという意味では$O(m-fracrd)$である。
論文参考訳（メタデータ） (2023-07-24T00:16:50Z)
Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
論文参考訳（メタデータ） (2022-09-15T15:42:47Z)
Shallow neural network representation of polynomials [91.3755431537592]
d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
論文参考訳（メタデータ） (2022-08-17T08:14:52Z)
Neural Network Architecture Beyond Width and Depth [4.468952886990851]
本稿では,幅と深さを超えた高さという付加次元を導入することで,新しいニューラルネットワークアーキテクチャを提案する。三次元構造を持つニューラルネットワークは、二次元構造を持つニューラルネットワークよりもはるかに表現力が高いことが示されている。
論文参考訳（メタデータ） (2022-05-19T10:29:11Z)
Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文参考訳（メタデータ） (2020-07-09T07:09:28Z)
Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文参考訳（メタデータ） (2020-06-20T16:23:32Z)
Sharp Representation Theorems for ReLU Networks with Precise Dependence on Depth [26.87238691716307]
D$ReLU層を持つニューラルネットワークに対して,2乗損失下でのシャープな表現結果を証明した。その結果、より深いネットワークはよりスムーズな関数を表現するのに優れているという仮説が実証された。
論文参考訳（メタデータ） (2020-06-07T05:25:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。