論文の概要: Universal Approximation Constraints of Narrow ResNets: The Tunnel Effect

• arxiv url: http://arxiv.org/abs/2603.28591v1
• Date: Mon, 30 Mar 2026 15:37:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.487931
• Title: Universal Approximation Constraints of Narrow ResNets: The Tunnel Effect
• Title（参考訳）: 狭いResNetの普遍近似制約:トンネル効果
• Authors: Christian Kuehn, Sara-Viola Kuntz, Tobias Wöhrer,
• Abstract要約: 狭残留ニューラルネットワーク(ResNets)の普遍近似制約の解析 入力空間拡大のないディープニューラルネットワークでは、中央制約は入力出力マップの臨界点を表現できない。 対象関数近似のグローバルな影響を証明し、この欠陥の顕在化は、典型的には臨界点から無限点へのシフトであることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We analyze the universal approximation constraints of narrow Residual Neural Networks (ResNets) both theoretically and numerically. For deep neural networks without input space augmentation, a central constraint is the inability to represent critical points of the input-output map. We prove that this has global consequences for target function approximations and show that the manifestation of this defect is typically a shift of the critical point to infinity, which we call the ``tunnel effect'' in the context of classification tasks. While ResNets offer greater expressivity than standard multilayer perceptrons (MLPs), their capability strongly depends on the signal ratio between the skip and residual channels. We establish quantitative approximation bounds for both the residual-dominant (close to MLP) and skip-dominant (close to neural ODE) regimes. These estimates depend explicitly on the channel ratio and uniform network weight bounds. Low-dimensional examples further provide a detailed analysis of the different ResNet regimes and how architecture-target incompatibility influences the approximation error.
• Abstract（参考訳）: 我々は,狭義のResidual Neural Networks(ResNets)の普遍的近似制約を理論的・数値的に解析する。 入力空間拡張のないディープニューラルネットワークでは、中央制約は入力出力マップの臨界点を表現することができない。 対象関数近似のグローバルな結果が証明され、この欠陥の顕在化は典型的には無限大への臨界点のシフトであり、分類タスクの文脈では 'tunnel effect'' と呼ぶ。 ResNetは、標準多層パーセプトロン(MLP)よりも高い表現性を提供するが、その能力はスキップと残留チャネルの信号比に強く依存する。 我々は,残基(MLPに近かった)とスキップ基(ニューラルODEに近かった)の双方に対して定量的な近似境界を確立する。 これらの推定は、チャネル比と均一なネットワークウェイト境界に明示的に依存する。 低次元の例では、異なるResNet体制の詳細な分析と、アーキテクチャとターゲットの非互換性が近似誤差にどのように影響するかが述べられている。

関連論文リスト

• Dense Neural Networks are not Universal Approximators [53.27010448621372]
  ニューラルネットワークは任意の連続関数の普遍性を持たないことを示す。 ReLUニューラルネットワークは、重みと入出力次元の自然な制約を受ける。
  論文  参考訳（メタデータ） (2026-02-07T16:52:38Z)
• Learning Wireless Interference Patterns: Decoupled GNN for Throughput Prediction in Heterogeneous Multi-Hop p-CSMA Networks [4.303580795892996]
  Decoupled Graph Convolutional Network (D-GCN)は、ノードの送信確率の処理を近隣の干渉効果から明確に分離する新しいアーキテクチャである。 D-GCNは3.3%のNMAEを達成し、強力なベースラインを上回り、正確な解析手法が計算的に実現不可能になった場合でも、依然として引くことができる。
  論文  参考訳（メタデータ） (2025-10-15T22:13:59Z)
• Covering Numbers for Deep ReLU Networks with Applications to Function Approximation and Nonparametric Regression [4.297070083645049]
  我々は、完全連結ネットワークの被覆数に対して、(乗法定数まで)下限と上限を密に展開する。 境界の厳密さにより、疎度、量子化、有界対非有界重み、およびネットワーク出力トランケーションの影響の根本的な理解が展開できる。
  論文  参考訳（メタデータ） (2024-10-08T21:23:14Z)
• Information-Theoretic Generalization Bounds for Deep Neural Networks [20.015357820733406]
  ディープニューラルネットワーク(DNN)は、実用的な応用において、非常に優れた一般化能力を示す。 本研究の目的は,情報理論の一般化境界による教師あり学習における深度の影響とメリットを捉えることである。
  論文  参考訳（メタデータ） (2024-04-04T03:20:35Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Phenomenology of Double Descent in Finite-Width Neural Networks [29.119232922018732]
  二重降下(double descend)は、モデルが属する体制に依存して行動を記述する。 我々は影響関数を用いて、人口減少とその下限の適切な表現を導出する。 本分析に基づき,損失関数が二重降下に与える影響について検討した。
  論文  参考訳（メタデータ） (2022-03-14T17:39:49Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Channel-Wise Early Stopping without a Validation Set via NNK Polytope Interpolation [36.479195100553085]
  畳み込みニューラルネットワーク(ConvNets)は、複数のチャネルの集約によって形成される高次元の特徴空間からなる。 非次元カーネル回帰(NNK)グラフに基づく新しい一般化推定法であるチャネルワイドDeepNNKを提案する。
  論文  参考訳（メタデータ） (2021-07-27T17:33:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。