論文の概要: On the Stability of Neural Networks in Deep Learning

• arxiv url: http://arxiv.org/abs/2510.25282v1
• Date: Wed, 29 Oct 2025 08:38:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:45.287454
• Title: On the Stability of Neural Networks in Deep Learning
• Title（参考訳）: ディープラーニングにおけるニューラルネットワークの安定性について
• Authors: Blaise Delattre,
• Abstract要約: この論文は、ニューラルネットワークが入力レベルとパラメータレベルの両方の摂動にどのように反応するかを考察する。 リプシッツネットワークを摂動に対する感度を制約する原理的な方法として検討し、一般化、対向強靭性、訓練安定性を改善する。
• 参考スコア（独自算出の注目度）: 3.843574434245427
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep learning has achieved remarkable success across a wide range of tasks, but its models often suffer from instability and vulnerability: small changes to the input may drastically affect predictions, while optimization can be hindered by sharp loss landscapes. This thesis addresses these issues through the unifying perspective of sensitivity analysis, which examines how neural networks respond to perturbations at both the input and parameter levels. We study Lipschitz networks as a principled way to constrain sensitivity to input perturbations, thereby improving generalization, adversarial robustness, and training stability. To complement this architectural approach, we introduce regularization techniques based on the curvature of the loss function, promoting smoother optimization landscapes and reducing sensitivity to parameter variations. Randomized smoothing is also explored as a probabilistic method for enhancing robustness at decision boundaries. By combining these perspectives, we develop a unified framework where Lipschitz continuity, randomized smoothing, and curvature regularization interact to address fundamental challenges in stability. The thesis contributes both theoretical analysis and practical methodologies, including efficient spectral norm computation, novel Lipschitz-constrained layers, and improved certification procedures.
• Abstract（参考訳）: ディープラーニングは様々なタスクで顕著な成功を収めてきたが、そのモデルは不安定性と脆弱性に悩まされることが多い。 この論文は、ニューラルネットワークが入力レベルとパラメータレベルの両方の摂動にどのように反応するかを調べる、感度分析の統一的な視点を通じて、これらの問題に対処する。 リプシッツネットワークを入力摂動に対する感度を制約する原理的な方法として検討し、一般化、対角強靭性、訓練安定性を改善する。 このアーキテクチャアプローチを補完するために、損失関数の曲率に基づく正規化手法を導入し、よりスムーズな最適化景観を促進し、パラメータの変動に対する感度を低下させる。 ランダムな平滑化は、決定境界における堅牢性を高める確率的手法としても研究されている。 これらの視点を組み合わせることで、リプシッツの連続性、ランダムな平滑化、および曲率正規化が相互作用し、安定性の基本的な課題に対処する統一的な枠組みを開発する。 この論文は、効率的なスペクトルノルム計算、新しいリプシッツ制約層、認証手順の改善など、理論解析と実践的方法論の両方に貢献している。

関連論文リスト

• Adaptive Variance-Penalized Continual Learning with Fisher Regularization [0.0]
  本研究は、パラメータ分散のフィッシャー重み付き非対称正規化を統合する、新しい連続学習フレームワークを提案する。 本手法はパラメータの不確かさに応じて正規化強度を動的に変調し,安定性と性能を向上させる。
  論文  参考訳（メタデータ） (2025-08-15T21:49:28Z)
• Certified Neural Approximations of Nonlinear Dynamics [51.01318247729693]
  安全クリティカルな文脈では、神経近似の使用は、基礎となるシステムとの密接性に公式な境界を必要とする。 本稿では,認証された一階述語モデルに基づく新しい,適応的で並列化可能な検証手法を提案する。
  論文  参考訳（メタデータ） (2025-05-21T13:22:20Z)
• Variational Bayesian Bow tie Neural Networks with Shrinkage [0.276240219662896]
  我々は,層間における分布仮定や独立性を回避する高速で近似的な変分推論アルゴリズムを開発した。 我々はPolya-Gammaデータ拡張トリックを使用し、条件付き線形およびガウス的モデルを描画する。
  論文  参考訳（メタデータ） (2024-11-17T17:36:30Z)
• Adaptive Pruning with Module Robustness Sensitivity: Balancing Compression and Robustness [7.742297876120561]
  本稿では, 対向摂動に対する層次感度を定量化する新しい計量法であるModule Robustness Sensitivity (MRS)を紹介する。 本稿では,任意の対向学習法に適合する適応型プルーニングアルゴリズムであるModule Robust Pruning and Fine-Tuning (MRPF)を提案する。
  論文  参考訳（メタデータ） (2024-10-19T18:35:52Z)
• Super Level Sets and Exponential Decay: A Synergistic Approach to Stable Neural Network Training [0.0]
  指数減衰と高度な反オーバーフィッティング戦略を統合する動的学習率アルゴリズムを開発した。 適応学習率の影響を受けて、損失関数の超レベル集合が常に連結であることを証明する。
  論文  参考訳（メタデータ） (2024-09-25T09:27:17Z)
• Regularization for Adversarial Robust Learning [18.46110328123008]
  我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。 この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。 本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-08-19T03:15:41Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• The Boundaries of Verifiable Accuracy, Robustness, and Generalisation in Deep Learning [71.14237199051276]
  経験的リスクを最小限に抑えるため,古典的な分布に依存しないフレームワークとアルゴリズムを検討する。 理想的な安定かつ正確なニューラルネットワークの計算と検証が極めて難しいタスク群が存在することを示す。
  論文  参考訳（メタデータ） (2023-09-13T16:33:27Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。