論文の概要: Why Heavy-Tailed Weight Spectra Predict Model Quality

• arxiv url: http://arxiv.org/abs/2610.13123v1
• Date: Fri, 09 Oct 2026 07:18:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.450461
• Title: Why Heavy-Tailed Weight Spectra Predict Model Quality
• Title（参考訳）: 重り付きウェイトスペクトルがモデル品質を予測する理由
• Abstract要約: 重み付きスペクトル分布はモデル品質を強く予測できることを示す。 高温マルテンコパスタ(HTMP)分布に追従するスペクトルの対数関係の限界を導出する。 我々は,この制限量が重みパラメータで凸であることを示し,大規模DNNの過度適合を実証的に予測する最適な重みを導出する。
• 参考スコア（独自算出の注目度）: 47.904409587617465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A solid understanding of the predictive success of deep neural networks (DNNs) remains elusive. For example, while many data-dependent metrics exist that seek to predict model quality of DNNs, these metrics may be expensive to compute for large datasets and/or may be impossible to compute when training datasets are not released. A practical and effective predictor of model quality involves analyzing DNN weight matrices, as prior work has established that heavy-tailed spectral distributions in trained weight matrices can be strongly predictive of model quality. However, such metrics lack a rigorous statistical justification. In this work, we aim to understand why these metrics perform well, from a statistical perspective. To do so, we employ a probabilistic framework to derive the marginal likelihood for a DNN, evaluated using only the final layer weights. Across large-scale convolutional DNNs and LLMs, we find that this marginal likelihood predicts model quality. To understand the role heavy-tailed spectra play in predictive performance, we derive the limiting log-marginal likelihood for spectra that follow the (heavy-tailed) High-Temperature Marchenko-Pastur (HTMP) distribution. We show that this limiting quantity is convex in a heaviness parameter, and we derive an optimal heaviness that empirically predicts over-fitting for large-scale DNNs.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の予測成功の確固たる理解はいまだ解明されていない。 例えば、DNNのモデル品質を予測しようとするデータ依存メトリクスは数多く存在するが、これらのメトリクスは大規模なデータセットの計算に高価である場合や、トレーニングデータセットがリリースされていない場合の計算が不可能である場合があります。 モデル品質の実用的で効果的な予測には、DNNの重み行列の解析が含まれる。 しかし、そのような指標は厳密な統計的正当化を欠いている。 本研究は,統計学的観点から,これらの指標がよく機能する理由を理解することを目的とする。 そこで我々は,最終層重みのみを用いて評価し,DNNの限界確率を導出する確率的枠組みを用いる。 大規模畳み込みDNNとLLMの全体にわたって、この限界確率はモデル品質を予測する。 重み付きスペクトルが予測性能に果たす役割を理解するために,高温マルテンコパスタ(HTMP)分布に追従するスペクトルの対数関係の限界を導出する。 我々は,この制限量が重みパラメータで凸であることを示し,大規模DNNの過度適合を実証的に予測する最適な重みを導出する。

関連論文リスト

• An End-to-End Differentiable, Graph Neural Network-Embedded Pore Network Model for Permeability Prediction [0.42970700836450487]
  細孔ネットワークモデル (PNMs) は細孔スケールの油圧コンダクタンスを推定し、その精度を複雑な構造で制限する。 本稿では,グラフニューラルネットワーク(GNN)をPNMに組み込む,エンドツーエンドの差別化可能なハイブリッドフレームワークを提案する。 このモデルは高い精度を達成し、様々なスケールでうまく結合し、純粋なデータ駆動型アプローチと従来のPNMアプローチの両方より優れている。
  論文  参考訳（メタデータ） (2025-09-17T09:15:23Z)
• LaMM: Semi-Supervised Pre-Training of Large-Scale Materials Models [0.1999925939110439]
  改良された自己教師付き学習を取り入れた半教師付き事前学習手法であるLaMMと、効率的なマルチノード学習のための負荷分散アルゴリズムを提案する。 提案手法は,1つのNNPモデルをトレーニングするために,$sim$300M(3億ドル)の半ラベルサンプルの大規模データセットを効果的に活用し,速度と精度の両面で微調整性能を向上することを示した。
  論文  参考訳（メタデータ） (2025-05-28T10:36:49Z)
• Predicting Emergent Capabilities by Finetuning [98.9684114851891]
  微調整された言語モデルでは,出現頻度の低いモデルに展開するスケーリングのポイントをシフトできることがわかった。 提案手法は4つの標準NLPベンチマークを用いて検証する。 いくつかのケースでは、最大4倍の計算でトレーニングされたモデルが出現したかどうかを正確に予測できる。
  論文  参考訳（メタデータ） (2024-11-25T01:48:09Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• Deep Neural Network Based Accelerated Failure Time Models using Rank Loss [1.486435467709869]
  加速故障時間(AFT)モデルは、障害時間と一連の共変量の間の対数線関係を仮定する。 ディープニューラルネットワーク(DNN)は過去数十年にわたって注目され、様々な分野で大きな成功を収めてきた。 本稿では,Gehan型損失モデルとサブサンプリング手法を組み合わせることで,AFTモデルにDNNを適用することを提案する。
  論文  参考訳（メタデータ） (2022-06-13T08:38:18Z)
• Hessian-based toolbox for reliable and interpretable machine learning in physics [58.720142291102135]
  本稿では,モデルアーキテクチャの解釈可能性と信頼性,外挿を行うためのツールボックスを提案する。 与えられたテストポイントでの予測に対する入力データの影響、モデル予測の不確実性の推定、およびモデル予測の不可知スコアを提供する。 我々の研究は、物理学やより一般的には科学に適用されたMLにおける解釈可能性と信頼性の方法の体系的利用への道を開く。
  論文  参考訳（メタデータ） (2021-08-04T16:32:59Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Probabilistic Neighbourhood Component Analysis: Sample Efficient Uncertainty Estimation in Deep Learning [25.8227937350516]
  トレーニングデータの量が少ない場合,最先端のBNNとDeep Ensembleモデルの不確実性推定能力は著しく低下することを示す。 サンプル効率の高い非パラメトリックkNN手法の確率的一般化を提案する。 我々のアプローチは、深いkNNがその予測において根底にある不確かさを正確に定量化することを可能にする。
  論文  参考訳（メタデータ） (2020-07-18T21:36:31Z)
• Neural Generators of Sparse Local Linear Models for Achieving both Accuracy and Interpretability [28.90948136731314]
  スパース局所線形モデル(NGSLL)のニューラルジェネレータを提案する。 NGSLLはディープニューラルネットワーク(DNN)を用いて各サンプルに対してスパース線形重みを生成する 予測性能を評価し,画像およびテキスト分類タスクにおいて生成した重みを可視化することにより,NGSLLの有効性を定量的かつ質的に実証する。
  論文  参考訳（メタデータ） (2020-03-13T18:49:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。