論文の概要: Universal Approximation Property of Fully Convolutional Neural Networks with Zero Padding

• arxiv url: http://arxiv.org/abs/2211.09983v3
• Date: Mon, 4 Dec 2023 03:02:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 01:51:59.526369
• Title: Universal Approximation Property of Fully Convolutional Neural Networks with Zero Padding
• Title（参考訳）: ゼロパディングをもつ完全畳み込みニューラルネットワークの普遍近似特性
• Authors: Geonho Hwang, Myungjoo Kang
• Abstract要約: CNNはテンソル-テンソルマッピングとして機能し、入力データの空間構造を保存する。 入力値と出力値の両方が同じ空間形状を示す場合、CNNは任意の連続関数を近似することができることを示す。 また、深い狭いCNNがテンソル-テンソル関数としてUAPを持っていることも確認した。
• 参考スコア（独自算出の注目度）: 10.295288663157393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Convolutional Neural Network (CNN) is one of the most prominent neural network architectures in deep learning. Despite its widespread adoption, our understanding of its universal approximation properties has been limited due to its intricate nature. CNNs inherently function as tensor-to-tensor mappings, preserving the spatial structure of input data. However, limited research has explored the universal approximation properties of fully convolutional neural networks as arbitrary continuous tensor-to-tensor functions. In this study, we demonstrate that CNNs, when utilizing zero padding, can approximate arbitrary continuous functions in cases where both the input and output values exhibit the same spatial shape. Additionally, we determine the minimum depth of the neural network required for approximation and substantiate its optimality. We also verify that deep, narrow CNNs possess the UAP as tensor-to-tensor functions. The results encompass a wide range of activation functions, and our research covers CNNs of all dimensions.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、ディープラーニングにおいて最も顕著なニューラルネットワークアーキテクチャの1つである。 広く採用されているにもかかわらず、我々の普遍近似特性の理解は、その複雑な性質のために制限されてきた。 CNNは本質的にテンソル-テンソルマッピングとして機能し、入力データの空間構造を保存する。 しかし、完全な畳み込みニューラルネットワークの普遍的な近似特性を任意の連続テンソル-テンソル関数として研究している。 本研究では,ゼロパディングを利用する場合,入力値と出力値の両方が同じ空間形状を示す場合,cnnが任意の連続関数を近似できることを実証する。 さらに、近似に必要なニューラルネットワークの最小深さを決定し、その最適性を推定する。 また、深い狭いCNNがテンソル-テンソル関数としてUAPを持っていることを検証する。 この結果は幅広い活性化機能を含み、我々の研究は全次元のCNNをカバーしている。

関連論文リスト

• Universal Approximation and the Topological Neural Network [0.0]
  トポロジカルニューラルネットワーク(TNN)は、通常の有限次元空間の代わりにチコノフ位相空間からデータを取得する。 また、ボレル測度をデータとする分布ニューラルネットワーク(DNN)も導入する。
  論文  参考訳（メタデータ） (2023-05-26T05:28:10Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• Continuous approximation by convolutional neural networks with a sigmoidal function [0.0]
  我々は、非重複CNNと呼ばれる畳み込みニューラルネットワーク(CNN)のクラスを提示する。 このようなシグミカルアクティベーション関数を持つネットワークは任意の精度でコンパクトな入力集合上で定義された任意の連続関数を近似できることを示す。
  論文  参考訳（メタデータ） (2022-09-27T12:31:36Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
  スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。 近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。 本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。 本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:55:37Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
  深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。 付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
  論文  参考訳（メタデータ） (2022-02-24T14:22:32Z)
• Neural networks with linear threshold activations: structure and algorithms [1.795561427808824]
  クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。 また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。 我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
  論文  参考訳（メタデータ） (2021-11-15T22:33:52Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。