論文の概要: Mitigating the Curse of Dimensionality in Uniform Convergence of Deep Neural Networks via Smooth Activations

• arxiv url: http://arxiv.org/abs/2606.05599v1
• Date: Thu, 04 Jun 2026 02:24:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.491166
• Title: Mitigating the Curse of Dimensionality in Uniform Convergence of Deep Neural Networks via Smooth Activations
• Title（参考訳）: Smooth Activation を用いた深部ニューラルネットワークの一様収束における次元曲線の緩和
• Authors: Yizhe Ding, Runze Li, Jia Liu, Lingzhou Xue,
• Abstract要約: 本稿では,滑らかに活性化されたディープニューラルネットワーク(DNN)推定器の一様収束に関する理論的枠組みを確立する。 目的関数の低次元階層構造を適応的に利用することにより、滑らかなDNNが一様収束における次元の呪いを軽減することができることを示す。
• 参考スコア（独自算出の注目度）: 13.626248090879235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper establishes a theoretical framework for the uniform convergence of smoothly activated deep neural network (DNN) estimators. While standard ReLU networks achieve minimax-optimal rates in the $L^2(P)$ norm for various nonparametric regression tasks, we establish a theoretical lower bound demonstrating that least-squares ReLU estimators can suffer from the curse of dimensionality in their uniform convergence behavior. Motivated by the need for reliable uniform guarantees in downstream tasks requiring worst-case reliability, we address this limitation by analyzing smoothly activated DNNs (smooth DNNs), encompassing both feedforward and residual structures. We establish novel pseudo-dimension bounds, non-asymptotic approximation guarantees, and Hölder-norm bounds for the approximators of these models. Leveraging these results, we derive non-asymptotic uniform convergence rates for smooth DNN estimators across multiple statistical contexts, including Huber, least-squares, quantile, and logistic regression. We prove that smooth DNNs can mitigate the {curse of dimensionality} in uniform convergence by adaptively exploiting the low-dimensional hierarchical composition structure of the target function. Supported by both simulation studies and a real-world application, our results position smooth DNNs as a theoretically grounded and practically viable alternative to ReLU networks for statistical learning tasks requiring uniform guarantees.
• Abstract（参考訳）: 本稿では,滑らかに活性化されたディープニューラルネットワーク(DNN)推定器の一様収束に関する理論的枠組みを確立する。 標準ReLUネットワークは、様々な非パラメトリック回帰タスクに対して$L^2(P)$ノルムで最小最大速度を達成するが、最小二乗ReLU推定器がその一様収束挙動における次元性の呪いに苦しむことができることを示す理論的下界を確立する。 ダウンストリームタスクにおいて、最悪の場合の信頼性を必要とする一様保証の必要性から、スムースに活性化されたDNN(smooth DNN)を解析し、フィードフォワードと残留構造の両方を包含することで、この制限に対処する。 我々はこれらのモデルの近似に対して、新しい擬次元境界、非漸近近似保証、およびヘルダーノルム境界を確立する。 これらの結果を利用して、フーバー、最小二乗、量子化、ロジスティック回帰を含む複数の統計的文脈における滑らかなDNN推定器に対する漸近的一様収束率を導出する。 目的関数の低次元階層的構成構造を適応的に利用することにより、滑らかなDNNが一様収束における {curse of dimensionality} を緩和できることを示す。 本研究はシミュレーション研究と実世界の応用の両面から支援され,一様保証を必要とする統計的学習課題に対するReLUネットワークの理論的基盤と実用的代替としてスムーズなDNNを位置づけた。

関連論文リスト

• Pruning Deep Neural Networks via a Combination of the Marchenko-Pastur Distribution and Regularization [0.18641315013048293]
  視覚変換器(ViT)は、画像分類のためのディープラーニング分野において、強力なモデルのクラスとして登場した。 重みと特異ベクトルのスパーシフィケーションに基づいて事前学習したDNNを刈り取るためのRandom Matrix Theory(RMT)に基づく新しい手法を提案する。 我々は,RTTを用いたプルーニングを用いて,精度1%未満の精度で,VTモデルのパラメータ数を30～50%削減できることを実証した。
  論文  参考訳（メタデータ） (2025-03-02T05:25:20Z)
• Fréchet Cumulative Covariance Net for Deep Nonlinear Sufficient Dimension Reduction with Random Objects [22.156257535146004]
  Fr'echet Cumulative Covariance (FCCov) と呼ばれる新しい統計依存度尺度を導入し、FCCovに基づく新しい非線形SDRフレームワークを開発する。 我々のアプローチは複雑な非ユークリッドデータに適用できるだけでなく、外れ値に対する堅牢性も示している。 正方形フロベニウスノルム正規化の手法は、$sigma$-fieldレベルで不偏性を達成することを証明している。
  論文  参考訳（メタデータ） (2025-02-21T10:55:50Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• SymNMF-Net for The Symmetric NMF Problem [62.44067422984995]
  我々は,Symmetric NMF問題に対するSymNMF-Netと呼ばれるニューラルネットワークを提案する。 各ブロックの推測は最適化の単一イテレーションに対応することを示す。 実世界のデータセットに関する実証的な結果は、我々のSymNMF-Netの優位性を示している。
  論文  参考訳（メタデータ） (2022-05-26T08:17:39Z)
• Hybrid ISTA: Unfolding ISTA With Convergence Guarantees Using Free-Form Deep Neural Networks [50.193061099112626]
  学習可能なパラメータを持つディープニューラルネットワーク(DNN)として反復アルゴリズムを展開させることで、線形逆問題を解決することを約束している。 既存のISTAベースのアンフォールドアルゴリズムは、収束を保証するために部分重結合構造で繰り返し更新するネットワークアーキテクチャを制限する。 本論文は,ISTAに基づく非折り畳みアルゴリズムにおける自由形式DNNを実現するための収束証明可能なフレームワークを初めて提供するものである。
  論文  参考訳（メタデータ） (2022-04-25T13:17:57Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Nonconvex sparse regularization for deep neural networks and its optimality [1.9798034349981162]
  ディープニューラルネットワーク(DNN)推定器は、回帰と分類問題に対して最適な収束率を得ることができる。 スパースDNNに対する新たなペナル化推定法を提案する。 スパースペンタライズされた推定器は、様々な非パラメトリック回帰問題に対する最小収束率を適応的に達成できることを示す。
  論文  参考訳（メタデータ） (2020-03-26T07:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。