論文の概要: On Expressivity of Height in Neural Networks
- arxiv url: http://arxiv.org/abs/2305.07037v2
- Date: Sat, 04 Jan 2025 02:25:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-07 20:05:24.953868
- Title: On Expressivity of Height in Neural Networks
- Title（参考訳）: ニューラルネットワークにおける高さの表現性について
- Authors: Feng-Lei Fan, Ze-Yu Li, Huan Xiong, Tieyong Zeng,
- Abstract要約: 私たちは、幅、深さ、高さが特徴のニューラルネットワークを3Dネットワークと呼んでいる。
我々は、同じ数のニューロンとパラメータを与えられた場合、幅$W$、深さ$K$、高さ$H$の3D ReLUネットワークは、幅$Htimes W$および深さ$K$の2Dネットワークよりも表現力が高いことを示す。
- 参考スコア（独自算出の注目度）: 29.49793694185358
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, beyond width and depth, we augment a neural network with a new dimension called height by intra-linking neurons in the same layer to create an intra-layer hierarchy, which gives rise to the notion of height. We call a neural network characterized by width, depth, and height a 3D network. To put a 3D network in perspective, we theoretically and empirically investigate the expressivity of height. We show via bound estimation and explicit construction that given the same number of neurons and parameters, a 3D ReLU network of width $W$, depth $K$, and height $H$ has greater expressive power than a 2D network of width $H\times W$ and depth $K$, \textit{i.e.}, $\mathcal{O}((2^H-1)W)^K)$ vs $\mathcal{O}((HW)^K)$, in terms of generating more pieces in a piecewise linear function. Next, through approximation rate analysis, we show that by introducing intra-layer links into networks, a ReLU network of width $\mathcal{O}(W)$ and depth $\mathcal{O}(K)$ can approximate polynomials in $[0,1]^d$ with error $\mathcal{O}\left(2^{-2WK}\right)$, which improves $\mathcal{O}\left(W^{-K}\right)$ and $\mathcal{O}\left(2^{-K}\right)$ for fixed width networks. Lastly, numerical experiments on 5 synthetic datasets, 15 tabular datasets, and 3 image benchmarks verify that 3D networks can deliver competitive regression and classification performance.
- Abstract（参考訳）: この研究は、幅と深さを超えて、同じ層内のニューロンをイントラリンクすることで、ハイトと呼ばれる新しい次元のニューラルネットワークを強化し、階層内階層を作り、高さの概念を生み出します。
私たちは、幅、深さ、高さが特徴のニューラルネットワークを3Dネットワークと呼んでいる。
本研究では,3次元ネットワークを視点として,高さの表現性について理論的かつ実証的に検討する。
同じ数のニューロンとパラメータが与えられた場合、幅$W$、深さ$K$、高さ$H$の3D ReLUネットワークは、幅$H\times W$と深さ$K$、幅$K$と深さ$K.e.}、$\mathcal{O}((2^H-1)W)^K)$と$\mathcal{O}((HW)^K)$の2Dネットワークよりも表現力が高いことを示す。
次に、近似速度解析により、幅$\mathcal{O}(W)$と深さ$\mathcal{O}(K)$のReLUネットワークをネットワークに導入することにより、固定幅ネットワークに対して$[0,1]^d$と誤差$\mathcal{O}\left(2^{-2WK}\right)$と$\mathcal{O}\left(2^{-K}\right)$の近似多項式を適用できることを示す。
最後に、5つの合成データセット、15の表データセット、3つの画像ベンチマークに関する数値実験により、3Dネットワークが競合レグレッションと分類性能を提供できることが検証された。
関連論文リスト
- Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。
また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
論文 参考訳（メタデータ） (2024-09-10T14:31:21Z) - Implicit Hypersurface Approximation Capacity in Deep ReLU Networks [0.0]
本稿では,ReLUアクティベーションを用いたディープフィードフォワードニューラルネットワークの幾何近似理論を開発する。
幅$d+1$の深い完全連結ReLUネットワークは、そのゼロ輪郭として暗黙的に近似を構成することができることを示す。
論文 参考訳（メタデータ） (2024-07-04T11:34:42Z) - Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
我々は、ResNets(tildeLtoinfty$)とFully-Connected nets(tildeLtoinfty$)の間を補間するLeaky ResNetsを研究する。
無限深度極限において、'representation geodesics'の$A_p$:continuous paths in representation space(NeuralODEsに類似)を研究する。
この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
論文 参考訳（メタデータ） (2024-05-27T18:15:05Z) - Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。
我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
論文 参考訳（メタデータ） (2024-05-26T17:08:04Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - Rates of Approximation by ReLU Shallow Neural Networks [8.22379888383833]
隠れたニューロンが$m$のReLU浅部ニューラルネットワークは、H"古い空間からの関数を均一に近似できることを示す。
そのようなレートは$O(m-fracrd)$に非常に近いが、$fracd+2d+4d+4$は、$d$が大きければ1ドルに近いという意味では$O(m-fracrd)$である。
論文 参考訳（メタデータ） (2023-07-24T00:16:50Z) - Network Degeneracy as an Indicator of Training Performance: Comparing
Finite and Infinite Width Angle Predictions [3.04585143845864]
ネットワークの深層化が進むにつれ、ネットワークは縮退しやすくなっている。
完全に接続されたReLUネットワークアーキテクチャのデジェネリシーのレベルを正確に予測できる単純なアルゴリズムを用いる。
論文 参考訳（メタデータ） (2023-06-02T13:02:52Z) - Depth Separation with Multilayer Mean-Field Networks [14.01059700772468]
arXiv:1904.06984は3層ネットワークで近似できるが,任意の2層ネットワークでは近似できない関数を構築した。
この結果は、平均フィールド制限を多層ネットワークに拡張する新しい方法に依拠している。
論文 参考訳（メタデータ） (2023-04-03T15:18:16Z) - Understanding Deep Neural Function Approximation in Reinforcement
Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。
我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。
我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
論文 参考訳（メタデータ） (2022-09-15T15:42:47Z) - Shallow neural network representation of polynomials [91.3755431537592]
d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
論文 参考訳（メタデータ） (2022-08-17T08:14:52Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Neural Network Architecture Beyond Width and Depth [4.468952886990851]
本稿では,幅と深さを超えた高さという付加次元を導入することで,新しいニューラルネットワークアーキテクチャを提案する。
三次元構造を持つニューラルネットワークは、二次元構造を持つニューラルネットワークよりもはるかに表現力が高いことが示されている。
論文 参考訳（メタデータ） (2022-05-19T10:29:11Z) - Identifying Class Specific Filters with L1 Norm Frequency Histograms in
Deep CNNs [1.1278903078792917]
我々はDeep Convolutional Networksの最終層と最後層を分析した。
クラスに対するネットワークの決定に最も寄与する機能のサブセットを特定します。
論文 参考訳（メタデータ） (2021-12-14T19:40:55Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳（メタデータ） (2021-01-31T11:32:30Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳（メタデータ） (2021-01-12T00:40:45Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Recursive Multi-model Complementary Deep Fusion forRobust Salient Object
Detection via Parallel Sub Networks [62.26677215668959]
完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。
本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。
いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
論文 参考訳（メタデータ） (2020-08-07T10:39:11Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-09T07:09:28Z) - Doubly infinite residual neural networks: a diffusion process approach [8.642603456626393]
ディープResNetは望ましくないフォワードプロパゲーション特性に悩まされないことを示す。
我々は2つの無限完全接続 ResNet に焦点を当て、i.i.d を考える。
我々の結果は、未スケールのネットワークのパラメータが i.d. であり、残余ブロックが浅い場合、ResNetの2倍の表現力に制限があることを示している。
論文 参考訳（メタデータ） (2020-07-07T07:45:34Z) - Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。
$Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文 参考訳（メタデータ） (2020-06-20T16:23:32Z) - Sharp Representation Theorems for ReLU Networks with Precise Dependence
on Depth [26.87238691716307]
D$ReLU層を持つニューラルネットワークに対して,2乗損失下でのシャープな表現結果を証明した。
その結果、より深いネットワークはよりスムーズな関数を表現するのに優れているという仮説が実証された。
論文 参考訳（メタデータ） (2020-06-07T05:25:06Z) - Quasi-Equivalence of Width and Depth of Neural Networks [10.365556153676538]
人工ニューラルネットワークの設計が指向性を持つかどうかを検討する。
De Morgan法に触発されて、ReLUネットワークの幅と深さの間に準等価性を確立する。
以上の結果から,深層ネットワークは任意に小さな誤差を被る広い等価性を有することがわかった。
論文 参考訳（メタデータ） (2020-02-06T21:17:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。