論文の概要: Curvature-Aligned Probing for Local Loss-Landscape Stabilization

• arxiv url: http://arxiv.org/abs/2604.14870v1
• Date: Thu, 16 Apr 2026 11:01:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.855886
• Title: Curvature-Aligned Probing for Local Loss-Landscape Stabilization
• Title（参考訳）: 局所ロスランドスケープ安定化のための曲率アライメント法
• Authors: Nikita Kiselev, Andrey Grabovoy,
• Abstract要約: 試料成長下の局所的損失ランドスケープ安定化は、通常、全パラメータ空間における点方向または等方的平均化によって測定される。 我々は、安定化を観察上の問題として再キャストし、集約順序と探索分布によってパラメータ化された基準の統一されたファミリを導入する。 Hessian-vector product, subspace Monte Carlo, and a closed-form-moment proxy。
• 参考スコア（独自算出の注目度）: 0.7090165638014331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Local loss-landscape stabilization under sample growth is typically measured either pointwise or through isotropic averaging in the full parameter space. Despite practical value, both choices probe directions that contribute little to the dominant local deformation of strongly anisotropic neural landscapes. We recast stabilization as an observational problem and introduce a unified family of criteria parameterized by an aggregation order and a probing distribution; within this family we propose a curvature-aligned criterion $Δ_2^{(D)}$ that probes the loss increment field in the top-$D$ eigenspace of the empirical Hessian near a trained solution. Solely from a local quadratic model, we prove that $Δ_2^{(D)}$ preserves the $O(k^{-2})$ mean-squared rate of the full-space criterion while replacing ambient-dimension curvature dependence with dependence on the subspace dimension $D$; a corollary gives a closed-form spectral expression and a proposition identifies the top-$D$ eigenspace as extremal within the eigenspace-aligned family. We also derive scalable estimators based on Hessian-vector products, subspace Monte Carlo, and a closed-form Gaussian-moment proxy. On a decoder-only transformer, a curvature-aligned probe occupying a tiny fraction of parameter space already reproduces the full-space mean-squared signal to within numerical noise throughout the validated local regime, and the closed-form estimator is orders of magnitude faster than direct Monte Carlo after subspace construction.
• Abstract（参考訳）: 試料成長下の局所的損失ランドスケープ安定化は、通常、全パラメータ空間における点方向または等方的平均化によって測定される。 実用的価値にもかかわらず、両方の選択は、強い異方性神経の風景が支配的な局所的な変形にほとんど寄与しない方向を探索する。 我々は、安定化を観察問題として再キャストし、アグリゲーション順序と探索分布によってパラメータ付けされた基準の統一されたファミリーを導入し、このファミリーでは、訓練された解の近くの経験的ヘッセンの上位D$固有空間における損失増加場を探索する曲率整列基準を$Δ_2^{(D)}$として提案する。 局所二次モデルからすると、$Δ_2^{(D)}$が全空間の基準の$O(k^{-2})$平均二乗率を保存することを証明し、周囲次元の曲率依存を部分空間次元の$D$への依存に置き換える。 また、ヘッセンベクトル積に基づくスケーラブルな推定器、部分空間モンテカルロ、および閉形式ガウスモーメントプロキシを導出する。 デコーダのみの変圧器において、パラメータ空間のごく一部を占める曲率整列プローブは、検証された局所状態全体にわたって、実空間平均二乗信号を数値ノイズ内に再現しており、閉形式推定器は、部分空間構築後の直接モンテカルロよりも桁違いに高速である。

関連論文リスト

• Distributional Stability of Tangent-Linearized Gaussian Inference on Smooth Manifolds [3.632189127068905]
  我々は、投射限界化と表面測定条件付けのために、明示的な非漸近的な$W$安定性境界を導出する。 境界は局所的な2次幾何学的歪みと非局所的な尾の漏れを区別する。 実験では、$sqrt||_mathrmop/Rapprox 1/6$付近で予測されたキャリブレーション遷移を検証し、正規方向の不確実性が局所性破壊時の支配的な障害モードであることを示す。
  論文  参考訳（メタデータ） (2026-02-22T13:18:45Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Robust Tangent Space Estimation via Laplacian Eigenvector Gradient Orthogonalization [48.25304391127552]
  データ多様体の接空間を推定することは、データ解析の基本的な問題である。 局所接空間推定を導くために,データのグローバル構造を利用したラプラシアン固有ベクトル勾配直交化法(LEGO)を提案する。
  論文  参考訳（メタデータ） (2025-10-02T17:59:45Z)
• Dynamical local Fréchet curve regression in manifolds [0.0]
  我々は、NASAのMAGSAT衛星の経度と経度の変化から、地球の磁場の予測問題を考察する。 実際のデータ応用の動機として、NASAのMAGSAT衛星の経度と経度から地球の磁場の予測問題を考察する。
  論文  参考訳（メタデータ） (2025-05-08T12:06:59Z)
• Density-Aware Noise Mechanisms for Differential Privacy on Riemannian Manifolds via Conformal Transformation [1.5632754424046598]
  共形変換に基づく密度認識型差分プライバシー機構を開発した。 我々は,不均一な多様体設定におけるプライバシ・ユーティリティのトレードオフを大幅に改善することが実証された。
  論文  参考訳（メタデータ） (2025-04-29T17:05:55Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Principal Component Analysis in Space Forms [7.822210329345704]
  空間形式における主成分分析(PCA)について検討する。 空間形式における与えられた点に対する最適の低次元アフィン部分空間を見つけることは次元減少に等しい。 最適アフィン部分空間は等式への解であり、(2)異なる次元の最適アフィン部分空間はネスト集合を形成する。
  論文  参考訳（メタデータ） (2023-01-06T23:48:37Z)
• Shape And Structure Preserving Differential Privacy [70.08490462870144]
  正方形距離関数の勾配がラプラス機構よりも感度をよりよく制御できることを示す。 また,2乗距離関数の勾配を用いることで,ラプラス機構よりも感度を制御できることを示す。
  論文  参考訳（メタデータ） (2022-09-21T18:14:38Z)
• Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
  離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。 最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
  論文  参考訳（メタデータ） (2022-09-16T22:09:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。