論文の概要: Principles of Lipschitz continuity in neural networks

• arxiv url: http://arxiv.org/abs/2602.04078v1
• Date: Tue, 03 Feb 2026 23:30:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.309231
• Title: Principles of Lipschitz continuity in neural networks
• Title（参考訳）: ニューラルネットワークにおけるリプシッツ連続性の原理
• Authors: Róisín Luo,
• Abstract要約: この論文は、ニューラルネットワークにおけるリプシッツ連続性の原理の原則的理解を深めようとしている。 入力データの特徴に関して、Lipschitz連続性がニューラルネットワークの挙動をどう調節するかを検討する。
• 参考スコア（独自算出の注目度）: 0.304585143845864
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep learning has achieved remarkable success across a wide range of domains, significantly expanding the frontiers of what is achievable in artificial intelligence. Yet, despite these advances, critical challenges remain -- most notably, ensuring robustness to small input perturbations and generalization to out-of-distribution data. These critical challenges underscore the need to understand the underlying fundamental principles that govern robustness and generalization. Among the theoretical tools available, Lipschitz continuity plays a pivotal role in governing the fundamental properties of neural networks related to robustness and generalization. It quantifies the worst-case sensitivity of network's outputs to small input perturbations. While its importance is widely acknowledged, prior research has predominantly focused on empirical regularization approaches based on Lipschitz constraints, leaving the underlying principles less explored. This thesis seeks to advance a principled understanding of the principles of Lipschitz continuity in neural networks within the paradigm of machine learning, examined from two complementary perspectives: an internal perspective -- focusing on the temporal evolution of Lipschitz continuity in neural networks during training (i.e., training dynamics); and an external perspective -- investigating how Lipschitz continuity modulates the behavior of neural networks with respect to features in the input data, particularly its role in governing frequency signal propagation (i.e., modulation of frequency signal propagation).
• Abstract（参考訳）: ディープラーニングは幅広い領域で顕著な成功を収めており、人工知能で達成可能な領域のフロンティアを著しく拡大している。 しかし、これらの進歩にもかかわらず、重要な課題は残る。特に、小さな入力摂動に対する堅牢性を確保し、アウト・オブ・ディストリビューションデータへの一般化である。 これらの重要な課題は、堅牢性と一般化を支配する基本的な原則を理解する必要性を浮き彫りにしている。 利用可能な理論ツールの中で、リプシッツの連続性は、ロバスト性や一般化に関連するニューラルネットワークの基本的性質の制御において重要な役割を担っている。 ネットワークの出力の最悪の感度を小さな入力摂動に定量化する。 その重要性は広く認識されているが、先行研究は主にリプシッツの制約に基づく経験的正則化アプローチに焦点を合わせており、基礎となる原理は明らかにされていない。 この論文は、機械学習のパラダイムにおけるニューラルネットワークにおけるリプシッツ連続性の原理の原則的理解を、トレーニング中のニューラルネットワークにおけるリプシッツ連続性の時間的進化に焦点を当てた内部視点(トレーニングダイナミクス)と、入力データの特徴、特に周波数信号伝搬(周波数伝搬の変調)におけるその役割について、外部視点(リプシッツ連続性がどのようにニューラルネットワークの振る舞いを調節するかを考察する2つの相補的な視点から考察することを目的としている。

関連論文リスト

• Feature contamination: Neural networks learn uncorrelated features and fail to generalize [5.642322814965062]
  分散シフトの下で一般化される学習表現は、堅牢な機械学習モデルを構築する上で重要である。 ニューラルネットワークを教師ネットワークから得られる表現に明示的に適合させることさえ、学生ネットワークの一般化には不十分であることを示す。
  論文  参考訳（メタデータ） (2024-06-05T15:04:27Z)
• ECLipsE: Efficient Compositional Lipschitz Constant Estimation for Deep Neural Networks [0.8993153817914281]
  リプシッツ定数は、入力摂動に対するニューラルネットワークの堅牢性を証明する上で重要な役割を果たす。 リプシッツ定数の厳密な上界を得る努力がなされている。 ディープフィードフォワードニューラルネットワークに対するリプシッツ定数を推定するための構成的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-05T19:36:26Z)
• Quantum-Inspired Analysis of Neural Network Vulnerabilities: The Role of Conjugate Variables in System Attacks [54.565579874913816]
  ニューラルネットワークは、敵の攻撃として現れる小さな非ランダムな摂動に固有の脆弱性を示す。 この機構と量子物理学の不確実性原理の間に数学的に一致し、予想外の学際性に光を当てる。
  論文  参考訳（メタデータ） (2024-02-16T02:11:27Z)
• Universal Scaling Laws of Absorbing Phase Transitions in Artificial Deep Neural Networks [0.8932296777085644]
  信号伝播ダイナミクスの位相境界付近で動作する従来の人工深層ニューラルネットワークは、カオスのエッジとしても知られ、位相遷移を吸収する普遍的なスケーリング法則を示す。 我々は、伝搬力学の完全な決定論的性質を利用して、ニューラルネットワークの信号崩壊と吸収状態の類似を解明する。
  論文  参考訳（メタデータ） (2023-07-05T13:39:02Z)
• Some Fundamental Aspects about Lipschitz Continuity of Neural Networks [6.576051895863941]
  リプシッツ連続性は任意の予測モデルの重要な機能特性である。 ニューラルネットワークのリプシッツ挙動を調べた。 リプシッツ下界の顕著な忠実さを示し、リプシッツ上界と下界の両方で顕著な二重発振傾向を同定し、ラベルノイズが関数の滑らかさと一般化に与える影響を説明する。
  論文  参考訳（メタデータ） (2023-02-21T18:59:40Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations [58.731070632586594]
  非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。 また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
  論文  参考訳（メタデータ） (2021-03-03T06:17:03Z)
• Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
  過パラメータのニューラルネットワークが制約を満たしていることを示す。 公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
  論文  参考訳（メタデータ） (2020-12-30T18:46:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。