論文の概要: A Flatness-Generalization Relation in the Teacher-Student Tree-Committee Machine

• arxiv url: http://arxiv.org/abs/2609.31101v1
• Date: Fri, 25 Sep 2026 10:38:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.339628
• Title: A Flatness-Generalization Relation in the Teacher-Student Tree-Committee Machine
• Title（参考訳）: 教師-学生木-コミットマシンにおける平坦性一般化関係
• Abstract要約: 最小化器における損失景観の平坦度とニューラルネットワークの一般化の関係について検討する。 すべての予測は有限サイズの勾配-蛍光シミュレーションと一致する。 その結果,回答は学習課題とデータ点数に対するパラメータ数の割合に強く依存していることが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The flatness of the loss landscape at a minimizer is a widely used heuristic for reasoning about neural-network generalization, yet evidence for this relation is mostly empirical and controversial. We study this relation in a teacher-student tree committee machine, where both the ERM estimator and the Hessian spectrum are analytically tractable in the proportional high-dimensional limit. First, we use a zero-temperature Gibbs formulation to obtain predictions for the observables of the typical minimizers of the empirical loss. Secondly, we use Edwards-Jones formalism to derive the limiting Hessian resolvent around these typical minimizers. All predictions agree with finite-size gradient-descent simulations. Finally, we study three measures of flatness, namely the left and right edges and the spectral mean, and check if a decrease in generalization error as the dataset size is increased corresponds to an increase in flatness. We find that the answer strongly depends on the learning task and on the ratio of the number of parameters to the number of data points. In regression, the spectral mean and right edge correlate with the generalization error, while the left edge does so only in the overparametrized regime. In classification this correlation reliably holds only in the highly overparametrized phase, while for underparametrized networks it can even reverse.
• Abstract（参考訳）: 最小化器におけるロスランドスケープの平坦性は、ニューラルネットワークの一般化を推論するために広く使われているヒューリスティックであるが、この関係の証拠は主に経験的であり、議論を呼んでいる。 本研究では,ERM推定器とヘッセンスペクトルの両方が比例的高次元極限で解析的に抽出可能である教師・学生委員会機械を用いて,この関係を考察する。 まず、ゼロ温度ギブスの定式化を用いて、経験的損失の典型的な最小化器の観測可能性の予測を求める。 第二に、エドワーズ=ジョーンズ形式学を用いて、これらの典型的な最小化子を取り巻く極限ヘッセン解法を導出する。 すべての予測は有限サイズの勾配-蛍光シミュレーションと一致する。 最後に、左右のエッジとスペクトル平均の3つの平坦度の測定を行い、データセットサイズが大きくなるにつれて一般化誤差の減少が平坦度の増加に対応するかどうかを確認する。 その結果,回答は学習課題とデータ点数に対するパラメータ数の割合に強く依存していることが判明した。 回帰では、スペクトル平均と右辺は一般化誤差と相関し、左辺は過度にパラメータ化された状態にのみ相関する。 分類において、この相関は高度に過度なパラメータ化フェーズでのみ確実に保たれるが、過度なパラメータ化ネットワークではさらに逆になる。

関連論文リスト

• Closed-Form Steepest Descent Direction toward Flat Minima: Reducing Upper Bounds on the Loss Hessian Eigenspectrum in Neural Networks [3.011579195399507]
  我々は、WS上界の勾配を解析的に導出し、平坦なミニマへと導く方向を特徴付ける。 実験により、HSR正則化はヘッセン固有値スペクトルを狭め、鋭いミニマ点やサドル点を避け、平坦なミニマへの収束を促進することが示されている。
  論文  参考訳（メタデータ） (2026-06-27T00:47:03Z)
• Fisher-Geometric Sharpness and the Implicit Bias of SGD toward Flat Minima [0.0]
  勾配降下(SGD)は、平らなミニマを暗黙的に好んでいる。 滑らかな関数保存型再パラメータ化の下では不変であることが証明される。 MNIST と CIFAR-10 の実験により、SR はユークリッドのシャープネスがそうでない方法で一般化を確実に追跡することを確認した。
  論文  参考訳（メタデータ） (2026-06-18T16:48:18Z)
• Leveraging Flatness to Improve Information-Theoretic Generalization Bounds for SGD [64.08556301183664]
  情報理論(IT)一般化境界は学習アルゴリズムの一般化の研究に用いられている。 本稿では, 平坦度の高いSGDに対して, より平坦度の高いITを導出する。
  論文  参考訳（メタデータ） (2026-01-04T10:17:50Z)
• Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
  安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。 低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。 文献に現れる異種の経験的所見を総合的に検討した。
  論文  参考訳（メタデータ） (2025-10-20T21:40:36Z)
• Flatness After All? [6.977444416330261]
  我々は、ヘッセンの柔らかいランク測度を用いて平坦度を測定することで一般化を評価することができると論じる。 非校正モデルでは、ソフトランクに基づく平坦度尺度をよく知られた竹内情報基準に接続する。
  論文  参考訳（メタデータ） (2025-06-21T20:33:36Z)
• Deep learning from strongly mixing observations: Sparse-penalized regularization and minimax optimality [0.0]
  ディープニューラルネットワーク予測器のスパースペナル化正規化について検討する。 正方形と幅広い損失関数を扱う。
  論文  参考訳（メタデータ） (2024-06-12T15:21:51Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• FAM: Relative Flatness Aware Minimization [5.132856559837775]
  平坦性の最適化は1994年に Hochreiter と Schmidthuber によって提案された。 最近の理論的研究は、特定の相対的平坦度測度が一般化に結びつくことを示唆している。 この相対平坦性に基づいて正規化器を導出し、計算が容易で、高速で、効率的で、任意の損失関数を扱う。
  論文  参考訳（メタデータ） (2023-07-05T14:48:24Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。