論文の概要: On the Generalization Behavior of Deep Residual Networks From a Dynamical System Perspective

• arxiv url: http://arxiv.org/abs/2602.20921v1
• Date: Tue, 24 Feb 2026 13:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-25 17:34:53.77348
• Title: On the Generalization Behavior of Deep Residual Networks From a Dynamical System Perspective
• Title（参考訳）: 力学系から見た深部残留ネットワークの一般化挙動について
• Authors: Jinshu Huang, Mingfei Sun, Chunlin Wu,
• Abstract要約: ディープニューラルネットワーク(DNN)は非常に高度な機械学習を持ち、モデル深度は彼らの成功に中心的な役割を果たす。 本研究では,Rademacher複雑性,動的システムのフローマップ,ResNetsの深層限界における収束挙動を組み合わせることで,離散的および連続的残差ネットワーク(ResNets)の一般化誤差境界を確立する。 Findingsは、離散時間と連続時間の両方のResNet間の一般化の統一的な理解を提供し、サンプルの複雑さの順序と離散時間と連続時間設定の間の仮定のギャップを埋めるのに役立ちます。
• 参考スコア（独自算出の注目度）: 1.0388986221727612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) have significantly advanced machine learning, with model depth playing a central role in their successes. The dynamical system modeling approach has recently emerged as a powerful framework, offering new mathematical insights into the structure and learning behavior of DNNs. In this work, we establish generalization error bounds for both discrete- and continuous-time residual networks (ResNets) by combining Rademacher complexity, flow maps of dynamical systems, and the convergence behavior of ResNets in the deep-layer limit. The resulting bounds are of order $O(1/\sqrt{S})$ with respect to the number of training samples $S$, and include a structure-dependent negative term, yielding depth-uniform and asymptotic generalization bounds under milder assumptions. These findings provide a unified understanding of generalization across both discrete- and continuous-time ResNets, helping to close the gap in both the order of sample complexity and assumptions between the discrete- and continuous-time settings.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は非常に高度な機械学習を持ち、モデル深度は彼らの成功に中心的な役割を果たす。 動的システムモデリングアプローチは、最近強力なフレームワークとして登場し、DNNの構造と学習行動に関する新しい数学的洞察を提供する。 本研究では,Rademacher複雑性,動的システムのフローマップ,ResNetsの深層限界における収束挙動を組み合わせることで,離散的および連続的残差ネットワーク(ResNets)の一般化誤差境界を確立する。 得られた境界は、訓練サンプルの数が$S$に対して$O(1/\sqrt{S})$で、構造に依存しない負の項を含み、より穏やかな仮定の下で深度一様および漸近的な一般化境界をもたらす。 これらの結果は、離散時間と連続時間の両方のResNetの一般化を統一的に理解し、サンプルの複雑さの順序と離散時間と連続時間設定の間の仮定のギャップを埋めるのに役立ちます。

関連論文リスト

• Dynamical Learning in Deep Asymmetric Recurrent Neural Networks [1.3421746809394772]
  非対称なディープリカレントニューラルネットワークは、指数関数的に大きく、密度の高い内部表現の多様体を生み出すことを示す。 本稿では,再帰的ダイナミクスからインプット・アウトプット・アソシエーションが自然に出現する分散学習手法を提案する。
  論文  参考訳（メタデータ） (2025-09-05T12:05:09Z)
• Lattice-Based Pruning in Recurrent Neural Networks via Poset Modeling [0.0]
  リカレントニューラルネットワーク(RNN)はシーケンスモデリングタスクの中心であるが、その高い計算複雑性はスケーラビリティとリアルタイムデプロイメントの課題を引き起こす。 本稿では,RNNを部分的に順序付けられた集合(命題)としてモデル化し,対応する依存格子を構成する新しいフレームワークを提案する。 既約ニューロンを同定することにより、格子ベースのプルーニングアルゴリズムは、冗長なニューロンを除去しながら、重要な接続を選択的に保持する。
  論文  参考訳（メタデータ） (2025-02-23T10:11:38Z)
• Recurrent Stochastic Configuration Networks with Hybrid Regularization for Nonlinear Dynamics Modelling [3.8719670789415925]
  リカレント・コンフィグレーション・ネットワーク(RSCN)は不確実性のある非線形力学系をモデル化する大きな可能性を示している。 本稿では,ネットワークの学習能力と一般化性能を両立させるために,ハイブリッド正規化を備えたRCCNを提案する。
  論文  参考訳（メタデータ） (2024-11-26T03:06:39Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Estimating Linear Dynamical Networks of Cyclostationary Processes [0.0]
  本稿では,サイクロ定常プロセスに励起されたネットワークにおけるトポロジ学習のための新しいアルゴリズムを提案する。 以前の作業とは異なり、このフレームワークは複雑な依存性を持つ線形動的システムに適用される。 本論文の第2部では,ネットワークのサブセットが観測されていない場合の双方向ラジアルネットワークにおける一貫したトポロジ学習条件を解析する。
  論文  参考訳（メタデータ） (2020-09-26T18:54:50Z)
• Continuous-in-Depth Neural Networks [107.47887213490134]
  まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。 次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。 ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
  論文  参考訳（メタデータ） (2020-08-05T22:54:09Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。