論文の概要: Information-Geometric Decomposition of Generalization Error in Unsupervised Learning

• arxiv url: http://arxiv.org/abs/2604.12340v1
• Date: Tue, 14 Apr 2026 06:23:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.281512
• Title: Information-Geometric Decomposition of Generalization Error in Unsupervised Learning
• Title（参考訳）: 教師なし学習における一般化誤差の情報幾何学的分解
• Authors: Gilhan Kim,
• Abstract要約: 教師なし学習のKulback-Leibler一般化誤差(GE)を,モデル誤差,データバイアス,分散の3つの非負成分に分解する。 分解は任意の e-フラットモデルクラスに対して完全である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We decompose the Kullback--Leibler generalization error (GE) -- the expected KL divergence from the data distribution to the trained model -- of unsupervised learning into three non-negative components: model error, data bias, and variance. The decomposition is exact for any e-flat model class and follows from two identities of information geometry: the generalized Pythagorean theorem and a dual e-mixture variance identity. As an analytically tractable demonstration, we apply the framework to $ε$-PCA, a regularized principal component analysis in which the empirical covariance is truncated at rank $N_K$ and discarded directions are pinned at a fixed noise floor $ε$. Although rank-constrained $ε$-PCA is not itself e-flat, it admits a technical reformulation with the same total GE on isotropic Gaussian data, under which each component of the decomposition takes closed form. The optimal rank emerges as the cutoff $λ_{\mathrm{cut}}^{*} = ε$ -- the model retains exactly those empirical eigenvalues exceeding the noise floor -- with the cutoff reflecting a marginal-rate balance between model-error gain and data-bias cost. A boundary comparison further yields a three-regime phase diagram -- retain-all, interior, and collapse -- separated by the lower Marchenko--Pastur edge and an analytically computable collapse threshold $ε_{*}(α)$, where $α$ is the dimension-to-sample-size ratio. All claims are verified numerically.
• Abstract（参考訳）: 教師なし学習を非負の3つのコンポーネント(モデルエラー、データバイアス、分散)に分解する。 分解は任意の e-平坦モデルクラスに対して正確であり、情報幾何学の2つのアイデンティティから従う: 一般化ピタゴラス定理と双対 e-混合分散恒等式である。 解析的に抽出可能な実演として、このフレームワークを$ε$-PCAに適用する。これは、経験的共分散をランク$N_K$で切り離し、捨てられた方向を固定ノイズフロア$ε$でピン留めする正規化主成分分析である。 階数制約付き$ε$-PCA は、それ自体は e 平らではないが、同値なガウスデータに対して、分解の各成分が閉形式を取るような、同じ合計GEの技術的再構成が認められる。 最適ランクは、カットオフが$λ_{\mathrm{cut}}^{*} = ε$ -- ノイズフロアを超える経験的固有値を保持しており、カットオフはモデルエラーゲインとデータバイアスコストの間の限界レートのバランスを反映している。 境界比較により、より低いマルテンコ-パストゥルエッジと解析計算可能な崩壊しきい値$ε_{*}(α)$で区切られた3次元の位相図が生成される。 すべての主張は数値的に検証される。

関連論文リスト

• The Geometric Cost of Normalization: Affine Bounds on the Bayesian Complexity of Neural Networks [0.0]
  重み行列の局所学習係数(LLC)を正確に$m/2$とすることで、LayerNormの平均中心ステップを線形超平面に収束させることを証明した。 さらに、Softmaxの単純なデータに"smuggled bias"を導入し、明示的な下流バイアスと組み合わせると、同じ$m/2$ LLCのドロップを起動することを示す。
  論文  参考訳（メタデータ） (2026-03-28T22:15:45Z)
• Heavy-Tailed Principle Component Analysis [0.8866338330056278]
  我々は、$mathbfX = A1/2mathbfG$という形の超統計依存モデルに基づいて生成された高次元データのPCAについて検討する。 対数損失の下でPCAを定式化し、モーメントが存在しない場合でも適切に定義する。 本研究の主理論的結果は,この損失下での重尾観測の主成分は,標準PCAを用いて得られたものと一致していることを示している。
  論文  参考訳（メタデータ） (2026-03-11T21:07:04Z)
• A Theoretical and Empirical Taxonomy of Imbalance in Binary Classification [0.0]
  我々は、不均衡が差別境界をいかに変化させるかを示し、通常、マイルド、エクストリーム、カタストロフィの4つの状態を予測する劣化勾配を生じさせる。 パラメトリックモデルと非パラメトリックモデル全体で、経験的劣化は理論的な予測に密接に従う。 これらの結果は、三重項 $(,,)$ がモデルに依存しない幾何的基底を持つ不均衡による劣化の説明を提供することを示している。
  論文  参考訳（メタデータ） (2026-01-07T18:02:11Z)
• Efficient reductions from a Gaussian source with applications to statistical-computational tradeoffs [8.162867143465382]
  我々はこの手法を利用して、平均ケースの複雑さにおいて広く信じられている予想の下で、いくつかの正準高次元統計モデルに対して、還元に基づく計算下界を確立する。 ガウス雑音を持つスパイクテンソルPCAの計算下界は、クラス内の他のガウス雑音分布にまで拡張可能であることを示す。
  論文  参考訳（メタデータ） (2025-10-08T17:16:36Z)
• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• Federated Learning Resilient to Byzantine Attacks and Data Heterogeneity [59.17297282373628]
  本稿では、データに対する悪意ある攻撃の文脈におけるグラディエント学習(FL)について述べる。 本稿では,収束解析と損失関数の中央値を用いた新しい平均ロバストアルゴリズム(RAGA)を提案する。
  論文  参考訳（メタデータ） (2024-03-20T08:15:08Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。