論文の概要: Singularity-Induced Local Complexity for High-Dimensional Learning Models
- arxiv url: http://arxiv.org/abs/2611.02428v1
- Date: Mon, 02 Nov 2026 02:53:08 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:14:12.261691
- Title: Singularity-Induced Local Complexity for High-Dimensional Learning Models
- Title（参考訳）: 高次元学習モデルにおける特異性による局所的複雑度
- Abstract要約: 実対数正準しきい値(RLCT)とその局所的なRLCTに着目した。
本稿では,局所的なRCCTと一般化に関連する既存の2つの重要な指標との理論的関係を明らかにする。
- 参考スコア（独自算出の注目度）: 6.2000582635449994
- License:
- Abstract: Many overparameterized models that have achieved remarkable success are singular models. That is, the set of optimal parameters consists of multiple points, or the Hessian of the generalization error at such parameters is degenerate, reflecting redundancy in the model parametrization. Therefore, understanding the effective dimension and intrinsic model complexity, beyond the apparent dimension of the parameter space, is essential for studying the generalization ability of such overparameterized models. In this work, we focus on the real log canonical threshold (RLCT) and its localized counterpart, the local RLCT, which are fundamental quantities for characterizing the generalization of singular models. We clarify the theoretical relationship between the local RLCT and existing two key metrics related to generalization under some localization assumption: (I) the rank of the Hessian matrix of the generalization error and (II) the covering number of a family of loss functions. This result provides novel insights into effective dimension and intrinsic complexity of overparameterized models.
- Abstract（参考訳）: 顕著な成功を収めた多くの過パラメータ化モデルは特異モデルである。
すなわち、最適パラメータの集合は複数の点から成り、あるいはそのようなパラメータにおける一般化誤差のヘシアンは縮退し、モデルのパラメトリゼーションにおける冗長性を反映する。
したがって、パラメータ空間の明らかな次元を超えた有効次元と本質的なモデルの複雑さを理解することは、そのような過パラメータ化モデルの一般化能力を研究するために不可欠である。
本研究では,特異モデルの一般化を特徴付ける基本量である実対数標準しきい値(RLCT)とその局所的しきい値である局所 RLCT に着目した。
局所RCCTと一般化に関連する既存の2つの重要な指標との理論的関係を明らかにする: (I) 一般化誤差のヘッセン行列のランクと (II) 損失関数の族被覆数。
この結果は、過パラメータ化モデルの有効次元と本質的な複雑さに関する新しい洞察を与える。
関連論文リスト
- A renormalization-group inspired lattice-based framework for piecewise generalized linear models [0.6599344783327052]
再正規化群(RG)理論にインスパイアされたモデルのクラスを導入する。
これらは、機能的ANOVAや混合効果モデルに類似した付加的階層展開に基づいて構築される。
統計物理学、特にレプリカ解析の技法を用いて一般化特性を研究する。
論文 参考訳（メタデータ） (2026-05-06T22:27:50Z) - PAC-Bayes Bounds for Gibbs Posteriors via Singular Learning Theory [10.93258787701145]
ギブス後方に対する明示的非漸近性PAC-Bayes一般化境界を導出する。
古典的な最悪ケースの複雑性境界は、大数の均一な法則に基づいているのとは異なり、我々の分析は、平均的な後続のリスク境界をもたらす。
論文 参考訳（メタデータ） (2026-04-19T03:00:18Z) - Random Matrix Theory for Deep Learning: Beyond Eigenvalues of Linear Models [51.85815025140659]
現代の機械学習(ML)とディープニューラルネットワーク(DNN)は高次元のデータを扱うことが多い。
特に、データ次元、サンプルサイズ、モデルパラメータの数がすべて大きな比例規則は、新しく、時には直感に反する振る舞いを引き起こす。
本稿では、線形モデルの固有値に基づく解析を超えて従来のランダム行列理論(RMT)を拡張し、非線形MLモデルによる課題に対処する。
論文 参考訳（メタデータ） (2025-06-16T06:54:08Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
リッジ回帰に関する最近の結果について統一的な視点を提示する。
我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。
我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - Towards Convergence Rates for Parameter Estimation in Gaussian-gated
Mixture of Experts [40.24720443257405]
ガウスゲートMOEモデルにおける最大推定値(MLE)の収束解析を行う。
以上の結果から,MLEはガウスゲーティング関数の位置パラメータの2つの相補的な設定の下で異なる挙動を示すことが明らかとなった。
特に、これらの挙動は2つの異なる方程式系の可解性によって特徴づけられる。
論文 参考訳（メタデータ） (2023-05-12T16:02:19Z) - On the Influence of Enforcing Model Identifiability on Learning dynamics
of Gaussian Mixture Models [14.759688428864159]
特異モデルからサブモデルを抽出する手法を提案する。
本手法はトレーニング中のモデルの識別性を強制する。
この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
論文 参考訳（メタデータ） (2022-06-17T07:50:22Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳（メタデータ） (2021-06-01T19:19:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。