Fugu-MT 論文翻訳(概要): On the Optimal Expressive Power of ReLU DNNs and Its Application in Approximation with Kolmogorov Superposition Theorem

論文の概要: On the Optimal Expressive Power of ReLU DNNs and Its Application in Approximation with Kolmogorov Superposition Theorem

arxiv url: http://arxiv.org/abs/2308.05509v1
Date: Thu, 10 Aug 2023 11:42:09 GMT
ステータス: 処理完了
システム内更新日: 2023-08-11 12:37:03.345748
Title: On the Optimal Expressive Power of ReLU DNNs and Its Application in Approximation with Kolmogorov Superposition Theorem
Title（参考訳）: relu dnnの最適表現力とそのコルモゴロフ重ね合わせ定理による近似への応用について
Authors: Juncai He
Abstract要約: 本稿では,ReLU深部ニューラルネットワーク(DNN)の最適表現力とそのコルモゴロフ重ね合わせ理論による近似への応用について検討する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper is devoted to studying the optimal expressive power of ReLU deep neural networks (DNNs) and its application in approximation via the Kolmogorov Superposition Theorem. We first constructively prove that any continuous piecewise linear functions on $[0,1]$, comprising $O(N^2L)$ segments, can be represented by ReLU DNNs with $L$ hidden layers and $N$ neurons per layer. Subsequently, we demonstrate that this construction is optimal regarding the parameter count of the DNNs, achieved through investigating the shattering capacity of ReLU DNNs. Moreover, by invoking the Kolmogorov Superposition Theorem, we achieve an enhanced approximation rate for ReLU DNNs of arbitrary width and depth when dealing with continuous functions in high-dimensional spaces.
Abstract（参考訳）: 本稿では,ReLU深部ニューラルネットワーク(DNN)の最適表現力とそのコルモゴロフ重畳定理による近似への応用について検討する。 O(N^2L)$セグメントからなる$[0,1]$上の任意の連続部分線型関数は、ReLU DNNで表され、層ごとに$L$の隠蔽層と$N$のニューロンを表現できる。その後、この構成は、ReLU DNNの破砕能力を調べることで達成されたDNNのパラメータ数に対して最適であることを示す。さらに、コルモゴロフ重畳定理を導出することにより、高次元空間における連続関数を扱う場合の任意の幅と深さのReLU DNNの近似率を向上する。

関連論文リスト

Improving the Expressive Power of Deep Neural Networks through Integral Activation Transform [12.36064367319084]
従来の完全接続型ディープニューラルネットワーク(DNN)を連続幅の概念により一般化する。 IAT-ReLUは連続基底関数を用いる場合に連続的な活性化パターンを示す。数値実験により,IAT-ReLUはトレーニング性やスムーズさの点で,通常のReLUよりも優れていることが示された。
論文参考訳（メタデータ） (2023-12-19T20:23:33Z)
Sample Complexity of Neural Policy Mirror Descent for Policy Optimization on Low-Dimensional Manifolds [75.51968172401394]
深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。 NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。 NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
論文参考訳（メタデータ） (2023-09-25T07:31:22Z)
Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Minimal Width for Universal Property of Deep RNN [6.744583770038476]
リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルデータを扱うために広く使われているディープラーニングネットワークである。我々は, 深部狭いRNNの普遍性を証明し, 最大幅の上限がデータ長に依存しないことを示す。
論文参考訳（メタデータ） (2022-11-25T02:43:54Z)
On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文参考訳（メタデータ） (2022-04-22T15:56:43Z)
ReLU Deep Neural Networks from the Hierarchical Basis Perspective [8.74591882131599]
有限要素法における階層基底法との関連性を検討し,ReLU深部ニューラルネットワーク(DNNs)について検討した。我々は、$x2$と$xy$のReLU DNNの近似スキームが、これらの2つの関数の階層ベース近似の構成バージョンであることを示した。
論文参考訳（メタデータ） (2021-05-10T07:25:33Z)
On the Turnpike to Design of Deep Neural Nets: Explicit Depth Bounds [0.0]
本稿では,Deep Neural Networks (DNN) において,どの層を考慮すべきかという質問に対する定量的回答を試みる。基礎となる仮定は、層ごとのニューロンの数、すなわちDNNの幅が一定であることである。我々は、仮定の到達可能性と訓練問題における正規化項の散逸誘導選択に基づいて、DNNの必要な深さの明示的な境界を証明する。
論文参考訳（メタデータ） (2021-01-08T13:23:37Z)
Improve the Robustness and Accuracy of Deep Neural Network with $L_{2,\infty}$ Normalization [0.0]
ディープニューラルネットワーク(DNN)の堅牢性と精度は、$L_2,infty$正規化を導入することで向上した。 L_2,infty$正規化は、DNN関数のポリヘドロングラフの隣接する2つの面の間の大きな二面角をもたらすことが証明されている。
論文参考訳（メタデータ） (2020-10-10T05:45:45Z)
An Infinite-Feature Extension for Bayesian ReLU Nets That Fixes Their Asymptotic Overconfidence [65.24701908364383]
ベイズ処理は、トレーニングデータを取り巻くReLUネットの過信を軽減することができる。しかし、彼らから遠く離れたところでは、ReLUニューラルネットワーク(BNN)はいまだに不確実性を過小評価し過ぎている可能性がある。事前学習した任意のReLU BNNに対して,低コストでemphpost-hocを適用可能であることを示す。
論文参考訳（メタデータ） (2020-10-06T13:32:18Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
論文参考訳（メタデータ） (2020-06-18T13:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。