論文の概要: The Curvature Rate λ: A Scalar Measure of Input-Space Sharpness in Neural Networks

• arxiv url: http://arxiv.org/abs/2511.01438v1
• Date: Mon, 03 Nov 2025 10:46:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.224969
• Title: The Curvature Rate λ: A Scalar Measure of Input-Space Sharpness in Neural Networks
• Title（参考訳）: 曲率λ:ニューラルネットワークにおける入力空間シャープネスのスカラー測定
• Authors: Jacob Poschl,
• Abstract要約: 曲線は一般化、堅牢性、ニューラルネットワークが小さな入力摂動にいかに確実に反応するかに影響を及ぼす。 入力空間で直接定義されるスカラー曲率測度、すなわち曲率ラムダを導入する。 ラムダは、決定境界における高周波構造の出現を追跡する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Curvature influences generalization, robustness, and how reliably neural networks respond to small input perturbations. Existing sharpness metrics are typically defined in parameter space (e.g., Hessian eigenvalues) and can be expensive, sensitive to reparameterization, and difficult to interpret in functional terms. We introduce a scalar curvature measure defined directly in input space: the curvature rate {\lambda}, given by the exponential growth rate of higher-order input derivatives. Empirically, {\lambda} is estimated as the slope of log ||D^n f|| versus n for small n. This growth-rate perspective unifies classical analytic quantities: for analytic functions, {\lambda} corresponds to the inverse radius of convergence, and for bandlimited signals, it reflects the spectral cutoff. The same principle extends to neural networks, where {\lambda} tracks the emergence of high-frequency structure in the decision boundary. Experiments on analytic functions and neural networks (Two Moons and MNIST) show that {\lambda} evolves predictably during training and can be directly shaped using a simple derivative-based regularizer, Curvature Rate Regularization (CRR). Compared to Sharpness-Aware Minimization (SAM), CRR achieves similar accuracy while yielding flatter input-space geometry and improved confidence calibration. By grounding curvature in differentiation dynamics, {\lambda} provides a compact, interpretable, and parameterization-invariant descriptor of functional smoothness in learned models.
• Abstract（参考訳）: 曲線は一般化、堅牢性、ニューラルネットワークが小さな入力摂動にいかに確実に反応するかに影響を及ぼす。 既存のシャープネス指標は一般にパラメータ空間(例えばヘッセン固有値)で定義され、高価であり、再パラメータ化に敏感であり、機能的な用語で解釈することは困難である。 入力空間内で直接定義されるスカラー曲率測度:高次入力導関数の指数的成長速度によって与えられる曲率 {\lambda} を導入する。 経験的に {\lambda} は、小さな n に対して n に対して log ||D^n f|| の傾きと推定される。 この成長速度の観点は古典的な解析量を統一する: 解析関数に対して {\lambda} は収束の逆半径に対応し、帯域制限信号に対してはスペクトルカットオフを反映する。 同じ原理はニューラルネットワークにまで拡張され、そこで {\lambda} は決定境界における高周波構造の出現を追跡する。 解析関数とニューラルネットワーク(2つの月とMNIST)の実験により、 {\lambda}はトレーニング中に予測可能に進化し、単純な微分型正規化器、曲率正規化(CRR)を用いて直接形成可能であることが示されている。 Sharpness-Aware Minimization (SAM) と比較すると、CRRはフラットな入力空間幾何学と信頼性校正を改善しつつ、同様の精度を実現している。 微分力学の曲率を基底にすることにより、学習モデルにおける関数的滑らかさのコンパクトで解釈可能でパラメータ化不変な記述子を提供する。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Approximation Results for Gradient Descent trained Neural Networks [0.0]
  ネットワークは完全に接続された一定の深さ増加幅である。 連続カーネルエラーノルムは、滑らかな関数に必要な自然な滑らかさの仮定の下での近似を意味する。
  論文  参考訳（メタデータ） (2023-09-09T18:47:55Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Implicit Bias of MSE Gradient Optimization in Underparameterized Neural Networks [0.0]
  勾配流による平均二乗誤差の最適化において,関数空間におけるニューラルネットワークのダイナミクスについて検討する。 ニューラルタンジェントカーネル(NTK)により決定された積分作用素$T_Kinfty$の固有関数をネットワークが学習することを示す。 減衰偏差は2乗誤差を最適化する際の力学の単純かつ統一的な視点を与えると結論付けている。
  論文  参考訳（メタデータ） (2022-01-12T23:28:41Z)
• ViViT: Curvature access through the generalized Gauss-Newton's low-rank structure [26.24282086797512]
  ヘッセンあるいはその一般化されたガウスニュートン(GGN)近似の形での曲線は、深層ネットワークの訓練、圧縮、説明の損失に局所モデルに依存するアルゴリズムに有用である。 本稿では,GGNの低ランク構造を利用した曲率モデルViViTを提案する。
  論文  参考訳（メタデータ） (2021-06-04T17:37:47Z)
• Tight Nonparametric Convergence Rates for Stochastic Gradient Descent under the Noiseless Linear Model [0.0]
  このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。 特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
  論文  参考訳（メタデータ） (2020-06-15T08:25:50Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Solving high-dimensional eigenvalue problems using deep neural networks: A diffusion Monte Carlo like approach [14.558626910178127]
  固有値問題は、演算子によって誘導される半群フローの固定点問題として再構成される。 この方法は拡散モンテカルロと同様の精神を持つが、ニューラル・ネットワーク・アンサッツによる固有関数への直接近似を増大させる。 我々の手法はいくつかの数値例で正確な固有値と固有関数の近似を提供することができる。
  論文  参考訳（メタデータ） (2020-02-07T03:08:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。