論文の概要: Zero Generalization Error Theorem for Random Interpolators via Algebraic Geometry

• arxiv url: http://arxiv.org/abs/2512.06347v1
• Date: Sat, 06 Dec 2025 08:40:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.313967
• Title: Zero Generalization Error Theorem for Random Interpolators via Algebraic Geometry
• Title（参考訳）: 代数幾何学によるランダム補間器のゼロ一般化誤差定理
• Authors: Naoki Yoshida, Isao Ishikawa, Masaaki Imaizumi,
• Abstract要約: 本研究では,教師の学習環境下での機械学習モデルの補間器の一般化誤差が,学習サンプル数が一定の閾値を超えるとゼロとなることを示す。
• 参考スコア（独自算出の注目度）: 8.60583035881168
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We theoretically demonstrate that the generalization error of interpolators for machine learning models under teacher-student settings becomes 0 once the number of training samples exceeds a certain threshold. Understanding the high generalization ability of large-scale models such as deep neural networks (DNNs) remains one of the central open problems in machine learning theory. While recent theoretical studies have attributed this phenomenon to the implicit bias of stochastic gradient descent (SGD) toward well-generalizing solutions, empirical evidences indicate that it primarily stems from properties of the model itself. Specifically, even randomly sampled interpolators, which are parameters that achieve zero training error, have been observed to generalize effectively. In this study, under a teacher-student framework, we prove that the generalization error of randomly sampled interpolators becomes exactly zero once the number of training samples exceeds a threshold determined by the geometric structure of the interpolator set in parameter space. As a proof technique, we leverage tools from algebraic geometry to mathematically characterize this geometric structure.
• Abstract（参考訳）: 教師学生設定下での機械学習モデルに対する補間器の一般化誤差は、学習サンプルの数が一定の閾値を超えると0となることを理論的に実証する。 ディープニューラルネットワーク(DNN)のような大規模モデルの高度な一般化能力を理解することは、マシンラーニング理論における主要なオープンな問題の一つである。 最近の理論的研究では、この現象は確率勾配降下(SGD)の暗黙の偏りを、よく一般化された解に起因しているが、経験的証拠は、主にモデル自体の性質に由来することを示唆している。 具体的には、トレーニングエラーをゼロにするパラメータであるランダムサンプリング補間器さえも、効果的に一般化することが観察されている。 本研究では,教師・学生の枠組みの下で,パラメータ空間に設定された補間器の幾何学的構造によって決定されるしきい値を超えると,ランダムにサンプリングされた補間器の一般化誤差が正確にゼロとなることを示す。 証明手法として、代数幾何学の道具を利用して、この幾何学構造を数学的に特徴づける。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Gradient flow in the gaussian covariate model: exact solution of learning curves and multiple descent structures [14.578025146641806]
  一般化曲線の全時間進化を完全かつ統一的に解析する。 この理論予測は,現実的なデータセットよりも勾配降下によって得られる学習曲線と適切に一致していることを示す。
  論文  参考訳（メタデータ） (2022-12-13T17:39:18Z)
• Generalization Metrics for Practical Quantum Advantage in Generative Models [68.8204255655161]
  生成モデリングは量子コンピュータにとって広く受け入れられている自然のユースケースである。 我々は,アルゴリズムの一般化性能を計測して,生成モデリングのための実用的な量子優位性を探索する,単純で曖昧な手法を構築した。 シミュレーションの結果、我々の量子にインスパイアされたモデルは、目に見えない、有効なサンプルを生成するのに、最大で68倍の費用がかかります。
  論文  参考訳（メタデータ） (2022-01-21T16:35:35Z)
• Model, sample, and epoch-wise descents: exact solution of gradient flow in the random feature model [16.067228939231047]
  勾配流下での一般化および訓練誤差の全時間的挙動を解析する。 システムサイズが大きければ、両方のエラーの完全な時間進化経路を解析的に計算できることが示される。 我々の手法は、線形鉛筆に基づく最近のランダム行列法とともに、誤差のコーシー複素積分表現に基づいている。
  論文  参考訳（メタデータ） (2021-10-22T14:25:54Z)
• Asymptotics of Ridge Regression in Convolutional Models [26.910291664252973]
  特定の高次元状態にある尾根推定器の推定誤差の正確な式を導出する。 畳み込みモデルに対する実験では, 二重降下現象を示し, 理論結果が実験と一致することを示した。
  論文  参考訳（メタデータ） (2021-03-08T05:56:43Z)
• Understanding Double Descent Requires a Fine-Grained Bias-Variance Decomposition [34.235007566913396]
  ラベルに関連付けられた用語への分散の解釈可能で対称的な分解について述べる。 バイアスはネットワーク幅とともに単調に減少するが、分散項は非単調な振る舞いを示す。 我々はまた、著しく豊かな現象論も分析する。
  論文  参考訳（メタデータ） (2020-11-04T21:04:02Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Overparameterization and generalization error: weighted trigonometric interpolation [4.631723879329972]
  本研究では,未知のフーリエ係数を等価試料から推定するランダムフーリエ級数モデルについて検討する。 滑らかな補間物に対する偏りが、重み付き三角法一般化の形でどのようにしてより小さい一般化誤差をもたらすかを正確に示す。
  論文  参考訳（メタデータ） (2020-06-15T15:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。