Fugu-MT 論文翻訳(概要): Approximation Properties of Deep ReLU CNNs

論文の概要: Approximation Properties of Deep ReLU CNNs

arxiv url: http://arxiv.org/abs/2109.00190v1
Date: Wed, 1 Sep 2021 05:16:11 GMT
ステータス: 処理完了
システム内更新日: 2021-09-02 14:29:40.106781
Title: Approximation Properties of Deep ReLU CNNs
Title（参考訳）: 深部ReLU CNNの近似特性
Authors: Juncai He, Lin Li, Jinchao Xu
Abstract要約: 本稿では,2次元空間上での深部ReLU畳み込みニューラルネットワーク(CNN)の近似特性について述べる。この分析は、大きな空間サイズとマルチチャネルを持つ畳み込みカーネルの分解定理に基づいている。
参考スコア（独自算出の注目度）: 8.74591882131599
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper is devoted to establishing $L^2$ approximation properties for deep ReLU convolutional neural networks (CNNs) on two-dimensional space. The analysis is based on a decomposition theorem for convolutional kernels with large spatial size and multi-channel. Given that decomposition and the property of the ReLU activation function, a universal approximation theorem of deep ReLU CNNs with classic structure is obtained by showing its connection with ReLU deep neural networks (DNNs) with one hidden layer. Furthermore, approximation properties are also obtained for neural networks with ResNet, pre-act ResNet, and MgNet architecture based on connections between these networks.
Abstract（参考訳）: 本稿では,2次元空間上での深部ReLU畳み込みニューラルネットワーク(CNN)の近似特性について述べる。この解析は、大きな空間サイズとマルチチャネルを持つ畳み込み核の分解定理に基づいている。 ReLU活性化関数の分解と性質を考えると、古典構造を持つ深部ReLU CNNの普遍近似定理は、ReLU深部ニューラルネットワーク(DNN)と1つの隠蔽層との接続を示すことによって得られる。さらに、ResNet、pre-act ResNet、MgNetアーキテクチャを用いたニューラルネットワークでは、これらのネットワーク間の接続に基づいて近似特性が得られる。

関連論文リスト

Residual resampling-based physics-informed neural network for neutron diffusion equations [7.105073499157097]
中性子拡散方程式は原子炉の解析において重要な役割を果たす。従来のPINNアプローチでは、完全に接続されたネットワーク(FCN)アーキテクチャを利用することが多い。 R2-PINNは、現在の方法に固有の制限を効果的に克服し、中性子拡散方程式のより正確で堅牢な解を提供する。
論文参考訳（メタデータ） (2024-06-23T13:49:31Z)
On the growth of the parameters of approximating ReLU neural networks [0.542249320079018]
この研究は、与えられた滑らかな関数を近似する完全連結フィードフォワードReLUニューラルネットワークの解析に焦点を当てる。アーキテクチャの増大にともなう,従来の普遍近似特性とは対照的に,近似ネットワークのパラメータの増大が懸念される。
論文参考訳（メタデータ） (2024-06-21T07:45:28Z)
Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文参考訳（メタデータ） (2023-05-25T14:17:15Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
Towards Understanding Theoretical Advantages of Complex-Reaction Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文参考訳（メタデータ） (2021-08-15T10:13:49Z)
ReLU Deep Neural Networks from the Hierarchical Basis Perspective [8.74591882131599]
有限要素法における階層基底法との関連性を検討し,ReLU深部ニューラルネットワーク(DNNs)について検討した。我々は、$x2$と$xy$のReLU DNNの近似スキームが、これらの2つの関数の階層ベース近似の構成バージョンであることを示した。
論文参考訳（メタデータ） (2021-05-10T07:25:33Z)
Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
論文参考訳（メタデータ） (2020-09-21T16:32:04Z)
Expressivity of Deep Neural Networks [2.7909470193274593]
本稿では,ニューラルネットワークの様々な近似結果について概説する。既存の結果は、一般的なフィードフォワードアーキテクチャのためのものだが、畳み込み、残留、反復するニューラルネットワークの近似結果も記述する。
論文参考訳（メタデータ） (2020-07-09T13:08:01Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Approximation in shift-invariant spaces with deep ReLU neural networks [7.7084107194202875]
拡張シフト不変空間における近似関数に対する深部ReLUニューラルネットワークの表現力について検討する。近似誤差境界は、ニューラルネットワークの幅と深さに対して推定される。
論文参考訳（メタデータ） (2020-05-25T07:23:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。