論文の概要: Integral Signatures of Activation Functions: A 9-Dimensional Taxonomy and Stability Theory for Deep Learning

• arxiv url: http://arxiv.org/abs/2510.08456v1
• Date: Thu, 09 Oct 2025 17:03:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.221752
• Title: Integral Signatures of Activation Functions: A 9-Dimensional Taxonomy and Stability Theory for Deep Learning
• Title（参考訳）: 活性化関数の積分シグナチャ:ディープラーニングのための9次元分類学と安定性理論
• Authors: Ankur Mali, Lawrence Hall, Jake Williams, Gordon Richards,
• Abstract要約: 活性化関数はニューラルネットワークの表現性と安定性を制御している。 9次元積分シグネチャS_sigma(phi)を用いた厳密な分類フレームワークを提案する。 我々のフレームワークは、原則化された設計指針、試行錯誤から証明可能な安定性とカーネル条件へのアクティベーション選択を移動させる。
• 参考スコア（独自算出の注目度）: 0.22399170518036912
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation functions govern the expressivity and stability of neural networks, yet existing comparisons remain largely heuristic. We propose a rigorous framework for their classification via a nine-dimensional integral signature S_sigma(phi), combining Gaussian propagation statistics (m1, g1, g2, m2, eta), asymptotic slopes (alpha_plus, alpha_minus), and regularity measures (TV(phi'), C(phi)). This taxonomy establishes well-posedness, affine reparameterization laws with bias, and closure under bounded slope variation. Dynamical analysis yields Lyapunov theorems with explicit descent constants and identifies variance stability regions through (m2', g2). From a kernel perspective, we derive dimension-free Hessian bounds and connect smoothness to bounded variation of phi'. Applying the framework, we classify eight standard activations (ReLU, leaky-ReLU, tanh, sigmoid, Swish, GELU, Mish, TeLU), proving sharp distinctions between saturating, linear-growth, and smooth families. Numerical Gauss-Hermite and Monte Carlo validation confirms theoretical predictions. Our framework provides principled design guidance, moving activation choice from trial-and-error to provable stability and kernel conditioning.
• Abstract（参考訳）: 活性化関数はニューラルネットワークの表現性と安定性を管理するが、既存の比較はほとんどヒューリスティックである。 本稿では,9次元積分シグネチャS_sigma(phi)を用いて,ガウスの伝搬統計(m1,g1,g2,m2,eta),漸近斜面(alpha_plus,α_minus),正規度測定(TV(phi'),C(phi))を組み合わせて,それらの分類のための厳密な枠組みを提案する。 この分類法は、配向性、偏りを伴うアフィン再パラメータ化法則、および有界斜面変動の下での閉鎖を定めている。 動的解析は、明示的な降下定数を持つリャプノフの定理を導き、(m2', g2) を通して分散安定性領域を同定する。 カーネルの観点から、次元自由ヘッセン境界を導出し、滑らかさと phi' の有界変動を結合する。 フレームワークを応用して,8つの標準活性化(ReLU, leaky-ReLU, tanh, sigmoid, Swish, GELU, Mish, TeLU)を分類した。 数値ガウス・ハーマイトとモンテカルロの検証は理論的な予測を裏付ける。 我々のフレームワークは、原則化された設計指針、試行錯誤から証明可能な安定性とカーネル条件へのアクティベーション選択を移動させる。

関連論文リスト

• A Mean-Field Theory of $Θ$-Expectations [2.1756081703276]
  我々はそのような非線形モデルのための新しい計算のクラスを開発する。 Theta-Expectation は部分付加性の公理と一致することが示されている。
  論文  参考訳（メタデータ） (2025-07-30T11:08:56Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Good regularity creates large learning rate implicit biases: edge of stability, balancing, and catapult [49.8719617899285]
  非最適化のための客観的降下に適用された大きな学習速度は、安定性の端を含む様々な暗黙のバイアスをもたらす。 この論文は降下の初期段階を示し、これらの暗黙の偏見が実際には同じ氷山であることを示す。
  論文  参考訳（メタデータ） (2023-10-26T01:11:17Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• High-dimensional limit theorems for SGD: Effective dynamics and critical scaling [6.950316788263433]
  我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。 下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。 この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
  論文  参考訳（メタデータ） (2022-06-08T17:42:18Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。