論文の概要: Why the Maximum Second Derivative of Activations Matters for Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2603.23860v1
• Date: Wed, 25 Mar 2026 02:38:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.094162
• Title: Why the Maximum Second Derivative of Activations Matters for Adversarial Robustness
• Title（参考訳）: 対向性ロバスト性における第2次活性化の最大導出要因
• Authors: Yunrui Yu, Hang Su, Jun Zhu,
• Abstract要約: 本研究は、最大2次微分$max|''|$で定量化される活性化関数曲率(英語版)の対向ロバスト性において重要な役割を解明する。 過度な曲率は、正規化されたヘッセン対角法則を増幅する一方で、不完全な曲率制限モデル表現性を示す。 この結果、$max|''|$ が 4 から 10 の範囲内にあるとき、最適対向ロバスト性は一貫して生じる非単調な関係が生じる。
• 参考スコア（独自算出の注目度）: 34.66281262008683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work investigates the critical role of activation function curvature -- quantified by the maximum second derivative $\max|σ''|$ -- in adversarial robustness. Using the Recursive Curvature-Tunable Activation Family (RCT-AF), which enables precise control over curvature through parameters $α$ and $β$, we systematically analyze this relationship. Our study reveals a fundamental trade-off: insufficient curvature limits model expressivity, while excessive curvature amplifies the normalized Hessian diagonal norm of the loss, leading to sharper minima that hinder robust generalization. This results in a non-monotonic relationship where optimal adversarial robustness consistently occurs when $\max|σ''|$ falls within 4 to 10, a finding that holds across diverse network architectures, datasets, and adversarial training methods. We provide theoretical insights into how activation curvature affects the diagonal elements of the hessian matrix of the loss, and experimentally demonstrate that the normalized Hessian diagonal norm exhibits a U-shaped dependence on $\max|σ''|$, with its minimum within the optimal robustness range, thereby validating the proposed mechanism.
• Abstract（参考訳）: 本研究は、最大二次微分 $\max|σ'''|$ で定量化される活性化関数曲率(英語版)の対向ロバスト性における重要な役割について検討する。 パラメータ$α$と$β$による曲率の正確な制御を可能にするRecursive Curvature-Tunable Activation Family (RCT-AF)を用いて、この関係を体系的に解析する。 過度の曲率は、正規化されたヘッセン対角法則を増幅し、よりシャープな最小化を招き、堅牢な一般化を妨げている。 この結果、$\max|σ''|$ が 4 から 10 に収まると、最適対向ロバスト性が常に起こる非単調な関係が生じる。 我々は、活性化曲率が損失のヘッセン行列の対角要素にどのように影響するかに関する理論的知見を提供し、正規化されたヘッセン対角ノルムが、最適ロバストネス範囲内で最小となる$\max|σ''|$にU字型依存を示すことを実験的に証明し、提案されたメカニズムを検証した。

関連論文リスト

• Diagonalizing the Softmax: Hadamard Initialization for Tractable Cross-Entropy Dynamics [29.85277126753054]
  クロスエントロピー(CE)損失はディープラーニングを支配しているが、既存の理論はしばしば単純化に依存している。 標準的なニューラルネットワークベクトルを持つ標準ネットワークの詳細な特徴付けを行う。
  論文  参考訳（メタデータ） (2025-12-03T17:45:09Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Monotone Curve Estimation via Convex Duality [0.0]
  主曲線は、滑らかな表現を通して基礎となるデータ構造を明らかにする強力なツールとして機能する。 本稿では、厳密な理論的正当化を伴う単調性に制約された新しい主曲線の枠組みを紹介する。
  論文  参考訳（メタデータ） (2025-01-12T23:24:47Z)
• Geometry-Aware Normalizing Wasserstein Flows for Optimal Causal Inference [0.0]
  本稿では,パラメトリックサブモデルと連続正規化フローを統合することにより,因果推論に対する画期的なアプローチを提案する。 我々は、最適輸送とワッサーシュタイン勾配流を利用して、有限サンプル設定における最小分散の因果推論手法を開発する。 予備実験では, 従来の流れに比べて平均二乗誤差が低い。
  論文  参考訳（メタデータ） (2023-11-30T18:59:05Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。