論文の概要: Understanding Generalization from Embedding Dimension and Distributional Convergence

• arxiv url: http://arxiv.org/abs/2601.22756v1
• Date: Fri, 30 Jan 2026 09:32:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.352226
• Title: Understanding Generalization from Embedding Dimension and Distributional Convergence
• Title（参考訳）: 埋め込み次元と分布収束から一般化を理解する
• Authors: Junjie Yu, Zhuoli Ouyang, Haotian Deng, Chen Wei, Wenxiao Ma, Jianyu Zhang, Zihan Deng, Quanying Liu,
• Abstract要約: 表現中心の観点から一般化を研究し、学習した埋め込みの幾何学が固定訓練モデルの予測性能をどのように制御するかを分析する。 人口リスクは, (i) 埋込み分布の内在的次元, (i) 埋込み分布のワッサーシュタイン距離における人口分布への収束率, (ii) 埋込みから予測への下流マッピングの感度, (ii) リプシッツ定数によって特徴づけられる。
• 参考スコア（独自算出の注目度）: 13.491874401333021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks often generalize well despite heavy over-parameterization, challenging classical parameter-based analyses. We study generalization from a representation-centric perspective and analyze how the geometry of learned embeddings controls predictive performance for a fixed trained model. We show that population risk can be bounded by two factors: (i) the intrinsic dimension of the embedding distribution, which determines the convergence rate of empirical embedding distribution to the population distribution in Wasserstein distance, and (ii) the sensitivity of the downstream mapping from embeddings to predictions, characterized by Lipschitz constants. Together, these yield an embedding-dependent error bound that does not rely on parameter counts or hypothesis class complexity. At the final embedding layer, architectural sensitivity vanishes and the bound is dominated by embedding dimension, explaining its strong empirical correlation with generalization performance. Experiments across architectures and datasets validate the theory and demonstrate the utility of embedding-based diagnostics.
• Abstract（参考訳）: ディープニューラルネットワークは、過度なパラメータ化にもかかわらず、古典的なパラメータに基づく分析に挑戦することが多い。 表現中心の観点から一般化を研究し、学習した埋め込みの幾何学が固定訓練モデルの予測性能をどのように制御するかを分析する。 人口リスクには2つの要因がある。 一 ワッサーシュタイン距離における集団分布に対する経験的埋め込み分布の収束率を決定する埋め込み分布の内在次元及び 2) 埋め込みから予測への下流マッピングの感度は, リプシッツ定数によって特徴づけられた。 これらを合わせて、パラメータ数や仮説クラスの複雑性に依存しない埋め込み依存のエラー境界が得られる。 最後の埋め込み層では、アーキテクチャの感度がなくなり、その境界は埋め込み次元によって支配され、その強い経験的相関と一般化性能が説明される。 アーキテクチャとデータセットにわたる実験は、この理論を検証し、埋め込みベースの診断の有用性を実証する。

関連論文リスト

• Towards A Unified PAC-Bayesian Framework for Norm-based Generalization Bounds [63.47271262149291]
  PAC-Bayesianノルムに基づく一般化のための統一的なフレームワークを提案する。 提案手法の鍵となるのは、構造的重み摂動に関してネットワーク出力を定量化する感度行列である。 我々は、いくつかの既存のPAC-ベイジアン結果を特殊ケースとして回復する一般化境界の族を導出する。
  論文  参考訳（メタデータ） (2026-01-13T00:42:22Z)
• Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
  安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。 低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。 文献に現れる異種の経験的所見を総合的に検討した。
  論文  参考訳（メタデータ） (2025-10-20T21:40:36Z)
• Error Bounds of Supervised Classification from Information-Theoretic Perspective [0.0]
  我々は、情報理論の観点から、教師付き分類にディープニューラルネットワークを使用する場合の予測リスクのバウンダリについて検討する。 経験的リスクをさらに分解したモデルリスクとフィッティングエラーを導入する。
  論文  参考訳（メタデータ） (2024-06-07T01:07:35Z)
• On the Generalization Properties of Diffusion Models [31.067038651873126]
  この研究は拡散モデルの一般化特性を包括的に理論的に探求することを目的としている。 我々は、スコアベース拡散モデルのトレーニング力学と合わせて、タンデムで進化する一般化ギャップの理論的推定値を確立する。 我々は定量分析をデータ依存のシナリオに拡張し、対象の分布を密度の連続として表現する。
  論文  参考訳（メタデータ） (2023-11-03T09:20:20Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。