論文の概要: Higher Order Approximation Rates for ReLU CNNs in Korobov Spaces
- arxiv url: http://arxiv.org/abs/2501.11275v1
- Date: Mon, 20 Jan 2025 05:11:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-22 14:19:37.483944
- Title: Higher Order Approximation Rates for ReLU CNNs in Korobov Spaces
- Title（参考訳）: コロボフ空間におけるReLU CNNの高次近似速度
- Authors: Yuwen Li, Guozhi Zhang,
- Abstract要約: 本稿では,ReLUを活性化した深部畳み込みニューラルネットワーク(CNN)を用いた高次コロボフ関数に対する$L_p$近似誤差について検討する。
以上の結果から,CNNの高次表現性は次元の呪いに苦しむものではないことが示唆された。
- 参考スコア（独自算出の注目度）: 3.2228025627337864
- License:
- Abstract: This paper investigates the $L_p$ approximation error for higher order Korobov functions using deep convolutional neural networks (CNNs) with ReLU activation. For target functions having a mixed derivative of order m+1 in each direction, we improve classical approximation rate of second order to (m+1)-th order (modulo a logarithmic factor) in terms of the depth of CNNs. The key ingredient in our analysis is approximate representation of high-order sparse grid basis functions by CNNs. The results suggest that higher order expressivity of CNNs does not severely suffer from the curse of dimensionality.
- Abstract（参考訳）: 本稿では,ReLUを活性化した深部畳み込みニューラルネットワーク(CNN)を用いた高次コロボフ関数に対する$L_p$近似誤差について検討する。
各方向に m+1 の混合微分を持つ対象関数に対して、CNN の深さの項で 2 次から (m+1)-次(対数係数のモジュロ)への古典的近似率を改善する。
解析における重要な要素は,CNNによる高次スパースグリッド基底関数の近似表現である。
以上の結果から,CNNの高次表現性は次元の呪いに苦しむものではないことが示唆された。
関連論文リスト
- On the rates of convergence for learning with convolutional neural networks [9.772773527230134]
畳み込みニューラルネットワーク(CNN)の1側ゼロパディングと複数のチャネルによる近似と学習能力について検討した。
多くの学習問題におけるCNNに基づく推定器の収束率を導出する。
また、得られた分類率は、いくつかの一般的な設定において極小であることも示している。
論文 参考訳（メタデータ） (2024-03-25T06:42:02Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。
この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
論文 参考訳（メタデータ） (2023-04-13T16:58:21Z) - Continuous approximation by convolutional neural networks with a
sigmoidal function [0.0]
我々は、非重複CNNと呼ばれる畳み込みニューラルネットワーク(CNN)のクラスを提示する。
このようなシグミカルアクティベーション関数を持つネットワークは任意の精度でコンパクトな入力集合上で定義された任意の連続関数を近似できることを示す。
論文 参考訳（メタデータ） (2022-09-27T12:31:36Z) - What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。
我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。
我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文 参考訳（メタデータ） (2022-08-01T17:19:32Z) - Towards Efficient Graph Convolutional Networks for Point Cloud Handling [181.59146413326056]
ポイントクラウド上で学習するためのグラフ畳み込みネットワーク(GCN)の計算効率の向上を目指します。
一連の実験により、最適化されたネットワークは計算複雑性を減らし、メモリ消費を減らし、推論速度を加速した。
論文 参考訳（メタデータ） (2021-04-12T17:59:16Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳（メタデータ） (2020-09-04T20:41:47Z) - Implicit Convex Regularizers of CNN Architectures: Convex Optimization
of Two- and Three-Layer Networks in Polynomial Time [70.15611146583068]
本稿では,ReLUアクティベーションを用いた畳み込みニューラルネットワーク(CNN)のトレーニングについて検討する。
我々は,データサンプル数,ニューロン数,データ次元に関して,厳密な凸最適化を導入する。
論文 参考訳（メタデータ） (2020-06-26T04:47:20Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。