Fugu-MT 論文翻訳(概要): Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation

論文の概要: Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation

arxiv url: http://arxiv.org/abs/2312.16483v2
Date: Thu, 11 Jan 2024 04:48:47 GMT
ステータス: 処理完了
システム内更新日: 2024-01-13 02:43:17.225325
Title: Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation
Title（参考訳）: ReLU$^k$ Activationを用いたディープニューラルネットワークの表現性と近似特性
Authors: Juncai He, Tong Mao, Jinchao Xu
Abstract要約: 本稿では、ReLU$k$Activation Function for $k geq 2$を用いたディープネットワークの表現性と近似特性について検討する。ディープ ReLU$k$ ネットワークは効率的に近似できるが、ディープ ReLU$k$ ネットワークは高次を正確に表現することができる。
参考スコア（独自算出の注目度）: 2.3020018305241337
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we investigate the expressivity and approximation properties of deep neural networks employing the ReLU$^k$ activation function for $k \geq 2$. Although deep ReLU networks can approximate polynomials effectively, deep ReLU$^k$ networks have the capability to represent higher-degree polynomials precisely. Our initial contribution is a comprehensive, constructive proof for polynomial representation using deep ReLU$^k$ networks. This allows us to establish an upper bound on both the size and count of network parameters. Consequently, we are able to demonstrate a suboptimal approximation rate for functions from Sobolev spaces as well as for analytic functions. Additionally, through an exploration of the representation power of deep ReLU$^k$ networks for shallow networks, we reveal that deep ReLU$^k$ networks can approximate functions from a range of variation spaces, extending beyond those generated solely by the ReLU$^k$ activation function. This finding demonstrates the adaptability of deep ReLU$^k$ networks in approximating functions within various variation spaces.
Abstract（参考訳）: 本稿では,ReLU$^k$ 活性化関数を$k \geq 2$ に用いたディープニューラルネットワークの表現性と近似特性について検討する。ディープReLUネットワークは多項式を効率的に近似することができるが、ディープReLU$^k$ネットワークは高次多項式を正確に表現することができる。最初の貢献は、深層relu$^k$ネットワークを用いた多項式表現の包括的で構成的な証明です。これにより、ネットワークパラメータのサイズと数の両方に上限を確立することができます。したがって、ソボレフ空間からの関数と解析函数の準最適近似率を示すことができる。さらに,浅層ネットワークに対する深層relu$^k$ネットワークの表現力の調査を通じて,深層relu$^k$ネットワークは,relu$^k$アクティベーション関数のみによって生成されるネットワークを超えて,様々な変動空間から関数を近似できることを明らかにした。この発見は、様々な変動空間内の近似関数における深い relu$^k$ ネットワークの適応性を示す。

関連論文リスト

Compelling ReLU Networks to Exhibit Exponentially Many Linear Regions at Initialization and During Training [1.7205106391379021]
ReLULUアクティベーションを持つニューラルネットワークでは、出力中の断片的線形領域の数は、深さとともに指数関数的に増加する。トレーニングを通じて,ネットワークの重みをその領域に制限する,ネットワークの新たなパラメータ化を導入する。このアプローチにより、無作為な凸凸関数よりも数桁精度が高い凸凸関数の近似を学習することができる。
論文参考訳（メタデータ） (2023-11-29T19:09:48Z)
Piecewise Linear Functions Representable with Infinite Width Shallow ReLU Neural Networks [0.0]
我々は,このような無限幅のニューラルネットワークで表現可能なすべての連続的片方向線形関数が,有限幅の浅いReLUニューラルネットワークとして表現可能であることを,オンジーらの予想を証明した。
論文参考訳（メタデータ） (2023-07-25T15:38:18Z)
Polynomial Width is Sufficient for Set Representation with High-dimensional Features [69.65698500919869]
DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。 a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
論文参考訳（メタデータ） (2023-07-08T16:00:59Z)
Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文参考訳（メタデータ） (2022-12-29T20:57:46Z)
Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint [48.25573695787407]
大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
論文参考訳（メタデータ） (2022-06-09T15:35:22Z)
Most Activation Functions Can Win the Lottery Without Excessive Depth [6.68999512375737]
宝くじの仮説は、プルーニングによってディープニューラルネットワークをトレーニングする可能性を強調している。 ReLUアクティベーション関数を持つネットワークの場合、深さ$L$のターゲットネットワークは、ターゲットの深さが2L$で対数係数がより広いランダムニューラルネットワークのサブネットワークによって近似できることが証明されている。
論文参考訳（メタデータ） (2022-05-04T20:51:30Z)
Theory of Deep Convolutional Neural Networks III: Approximating Radial Functions [7.943024117353317]
我々は、2つの畳み込み層、ダウン演算子、完全に接続された層からなるディープニューラルネットワークのファミリーを考える。ネットワーク構造は、畳み込み層の数と完全に連結された層の幅を決定する2つの構造パラメータに依存する。
論文参考訳（メタデータ） (2021-07-02T08:22:12Z)
Adversarial Examples in Multi-Layer Random ReLU Networks [39.797621513256026]
逆例は独立したガウスパラメータを持つReLUネットワークに現れる。ネットワーク内のボトルネック層は重要な役割を担っている。ある時点までの最小の幅は、その時点まで計算されたマッピングのスケールと感度を決定する。
論文参考訳（メタデータ） (2021-06-23T18:16:34Z)
Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間にエントロピーバウンド片方向の線形活性化関数を持つ我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文参考訳（メタデータ） (2021-04-05T18:02:04Z)
Size and Depth Separation in Approximating Natural Functions with Neural Networks [52.73592689730044]
本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
論文参考訳（メタデータ） (2021-01-30T21:30:11Z)
Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文参考訳（メタデータ） (2020-06-20T16:23:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。