論文の概要: Spectral Thresholds for Identifiability and Stability:Finite-Sample Phase Transitions in High-Dimensional Learning
- arxiv url: http://arxiv.org/abs/2510.03809v1
- Date: Sat, 04 Oct 2025 13:33:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:59.265675
- Title: Spectral Thresholds for Identifiability and Stability:Finite-Sample Phase Transitions in High-Dimensional Learning
- Title（参考訳）: 同定可能性と安定性のスペクトル閾値:高次元学習における有限サンプル相転移
- Authors: William Hao-Cheng Huang,
- Abstract要約: 高次元学習では、サンプルサイズが臨界レベル以下になると、モデルは突然崩壊するまで安定している。
私たちのFisher Threshold Theoremは、最小のFisher固有値が明示的な$O(sqrtd/n)$boundを超えることを証明してこれを公式化する。
事前またはモデル固有の基準とは異なり、この閾値は有限サンプルであり、信頼性の高い濃度と避けられない失敗の間の急激な位相遷移を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In high-dimensional learning, models remain stable until they collapse abruptly once the sample size falls below a critical level. This instability is not algorithm-specific but a geometric mechanism: when the weakest Fisher eigendirection falls beneath sample-level fluctuations, identifiability fails. Our Fisher Threshold Theorem formalizes this by proving that stability requires the minimal Fisher eigenvalue to exceed an explicit $O(\sqrt{d/n})$ bound. Unlike prior asymptotic or model-specific criteria, this threshold is finite-sample and necessary, marking a sharp phase transition between reliable concentration and inevitable failure. To make the principle constructive, we introduce the Fisher floor, a verifiable spectral regularization robust to smoothing and preconditioning. Synthetic experiments on Gaussian mixtures and logistic models confirm the predicted transition, consistent with $d/n$ scaling. Statistically, the threshold sharpens classical eigenvalue conditions into a non-asymptotic law; learning-theoretically, it defines a spectral sample-complexity frontier, bridging theory with diagnostics for robust high-dimensional inference.
- Abstract（参考訳）: 高次元学習では、サンプルサイズが臨界レベル以下になると、モデルは突然崩壊するまで安定している。
この不安定性はアルゴリズム固有のものではなく、幾何学的なメカニズムであり、最も弱いフィッシャー固有方向がサンプルレベルのゆらぎの下に落ちると、識別性は失敗する。
私たちのFisher Threshold Theoremは、安定性が最小限のFisher固有値で明示的な$O(\sqrt{d/n})$boundを超えることを証明してこれを公式化する。
従来の漸近的あるいはモデル固有の基準とは異なり、この閾値は有限サンプルであり、信頼性の高い濃度と避けられない失敗の間の急激な相転移を示す。
そこで本研究では,スムース化とプレコンディショニングに頑健なスペクトル正則化であるFisherフロアを導入する。
ガウス混合とロジスティックモデルの合成実験は、$d/n$スケーリングと一致して予測される遷移を確認する。
統計的には、このしきい値は古典的固有値条件を非漸近法則に鋭くし、学習理論上はサンプル・複雑性フロンティア、堅牢な高次元推論のための診断を伴うブリッジング理論を定義する。
関連論文リスト
- Theoretical Bounds for Stable In-Context Learning [0.0]
In-context Learning (ICL) は柔軟性があるが、その信頼性は迅速な長さに敏感である。
本稿では、最小数の実証とICL安定性を結びつける非漸近的下界を確立する。
本稿では,1ショットキャリブレーションを施した2段階観測可能推定器を提案する。
論文 参考訳（メタデータ） (2025-09-25T02:25:05Z) - On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
固定ステップサイズを使用すると収束が不可能であることを示す。
正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。
また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
論文 参考訳（メタデータ） (2024-02-20T16:01:42Z) - A Precise Characterization of SGD Stability Using Loss Surface Geometry [8.942671556572073]
Descent Gradient (SGD) は実世界の実証的な成功を証明しているが、理論的な理解は比較的限られている。
最近の研究は、その実用性に寄与する重要な要因である暗黙の正規化を照らしている。
論文 参考訳（メタデータ） (2024-01-22T19:46:30Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳（メタデータ） (2023-07-06T04:13:57Z) - Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。
GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。
この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
論文 参考訳（メタデータ） (2022-06-08T21:32:50Z) - A Local Convergence Theory for the Stochastic Gradient Descent Method in
Non-Convex Optimization With Non-isolated Local Minima [0.0]
非孤立ミニマは、未探索のままのユニークな挑戦を示す。
本稿では, 勾配降下法の非溶解大域ミニマへの局所収束について検討する。
論文 参考訳（メタデータ） (2022-03-21T13:33:37Z) - Modeling High-Dimensional Data with Unknown Cut Points: A Fusion
Penalized Logistic Threshold Regression [2.520538806201793]
従来のロジスティック回帰モデルでは、リンク関数は線形で連続であると見なされることが多い。
我々は、全ての連続した特徴が順序レベルに離散化され、さらにバイナリ応答が決定されるしきい値モデルを考える。
糖尿病のような慢性疾患の早期発見と予知の問題において,ラッソモデルが好適であることが判明した。
論文 参考訳（メタデータ） (2022-02-17T04:16:40Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Fine-Grained Analysis of Stability and Generalization for Stochastic
Gradient Descent [55.85456985750134]
我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。
これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。
我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
論文 参考訳（メタデータ） (2020-06-15T06:30:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。