論文の概要: Sufficient Conditions for Stability of Minimum-Norm Interpolating Deep ReLU Networks

• arxiv url: http://arxiv.org/abs/2602.13910v1
• Date: Sat, 14 Feb 2026 22:20:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.554278
• Title: Sufficient Conditions for Stability of Minimum-Norm Interpolating Deep ReLU Networks
• Title（参考訳）: 極小ノルム補間深部ReLUネットワークの安定化のための十分条件
• Authors: Ouns El Harzli, Yoonsoo Nam, Ilja Kuzborskij, Bernardo Cuenca Grau, Ard A. Louis,
• Abstract要約: 我々は,最小の$L$ノルムを持つパラメータを用いて,学習誤差をゼロにするディープ均質ニューラルネットワークのアルゴリズム安定性について検討した。 これらのネットワークは,1) 安定したサブネットワークを含む場合,2) 安定したサブネットワークを含む場合,次いで低ランクの重み行列を持つ層が存在し,2) 安定したサブネットワークを含む場合でも,次の層が低ランクでない場合には,安定したネットワークが保証されない。
• 参考スコア（独自算出の注目度）: 18.714326830182735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Algorithmic stability is a classical framework for analyzing the generalization error of learning algorithms. It predicts that an algorithm has small generalization error if it is insensitive to small perturbations in the training set such as the removal or replacement of a training point. While stability has been demonstrated for numerous well-known algorithms, this framework has had limited success in analyses of deep neural networks. In this paper we study the algorithmic stability of deep ReLU homogeneous neural networks that achieve zero training error using parameters with the smallest $L_2$ norm, also known as the minimum-norm interpolation, a phenomenon that can be observed in overparameterized models trained by gradient-based algorithms. We investigate sufficient conditions for such networks to be stable. We find that 1) such networks are stable when they contain a (possibly small) stable sub-network, followed by a layer with a low-rank weight matrix, and 2) such networks are not guaranteed to be stable even when they contain a stable sub-network, if the following layer is not low-rank. The low-rank assumption is inspired by recent empirical and theoretical results which demonstrate that training deep neural networks is biased towards low-rank weight matrices, for minimum-norm interpolation and weight-decay regularization.
• Abstract（参考訳）: アルゴリズム安定性は、学習アルゴリズムの一般化誤差を分析するための古典的なフレームワークである。 トレーニング点の除去や置換といったトレーニングセットの小さな摂動に敏感な場合、アルゴリズムは一般化誤差が小さいと予測する。 多くのよく知られたアルゴリズムに対して安定性が実証されているが、このフレームワークはディープニューラルネットワークの分析において限られた成功を収めてきた。 本稿では,最小の$L_2$ノルム(最小ノルム補間とも呼ばれる)を持つパラメータを用いて学習誤差をゼロにする深部ReLU均質ニューラルネットワークのアルゴリズム安定性について検討する。 このようなネットワークを安定させるのに十分な条件について検討する。 私たちはそれを見つける。 1) このようなネットワークは、(おそらく小さく)安定なサブネットワークを持ち、次に低ランクの重み行列を持つ層を持ち、安定である。 2) 以下の層が低ランクでない場合, 安定したサブネットワークであっても, 安定したネットワークが保証されない。 低ランクの仮定は、ニューラルネットワークのトレーニングが最小限のノルム補間と減量正規化のために、低ランクの重み行列に偏っていることを示す最近の経験的および理論的結果に着想を得たものである。

関連論文リスト

• On the Stability of the Jacobian Matrix in Deep Neural Networks [9.617753464544606]
  我々は、疎度と弱相関重みに対応するディープニューラルネットワークの一般的な安定性定理を確立する。 この結果は、確率行列理論の最近の進歩に依拠し、より広範なネットワークモデルにおけるスペクトル安定性の厳密な保証を提供する。
  論文  参考訳（メタデータ） (2025-06-10T13:04:42Z)
• Low-rank bias, weight decay, and model merging in neural networks [12.352761060862072]
  L2$正規化によって誘導される深層ニューラルネットワークのいくつかの特性を示す。 さらに,$L2$正規化と低ランクバイアスによって実現されるマルチタスク学習現象について検討した。
  論文  参考訳（メタデータ） (2025-02-24T17:17:00Z)
• Stabilizing RNN Gradients through Pre-training [3.335932527835653]
  学習理論は、勾配が深さや時間で指数関数的に成長するのを防ぎ、トレーニングを安定させ改善することを提案する。 我々は、既知の安定性理論を拡張し、データとパラメータの分布について最小限の仮定を必要とするディープ・リカレント・ネットワークの幅広いファミリーを包含する。 本稿では,この問題を緩和するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-23T11:48:35Z)
• Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy [52.40331776572531]
  ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。 この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
  論文  参考訳（メタデータ） (2023-02-15T02:00:26Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。