論文の概要: Position: Many generalization measures for deep learning are fragile

• arxiv url: http://arxiv.org/abs/2510.18934v1
• Date: Tue, 21 Oct 2025 17:44:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:14.330395
• Title: Position: Many generalization measures for deep learning are fragile
• Title（参考訳）: 位置:深層学習のための多くの一般化策は脆弱である
• Authors: Shuofeng Zhang, Ard Louis,
• Abstract要約: 我々は、多くのポストモーテム一般化対策 -- 訓練されたネットワーク上で計算された -- は、textbffragileであると主張している。 基礎となるDNNにほとんど影響を与えない小さなトレーニング修正は、測定値の価値、傾向、スケーリングの振る舞いを大きく変える可能性がある。 このポジションペーパーでは、新しい対策の開発者は、脆弱性について明確に監査すべきである、と論じている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A wide variety of generalization measures have been applied to deep neural networks (DNNs). Although obtaining tight bounds remains challenging, such measures are often assumed to reproduce qualitative generalization trends. In this position paper, we argue that many post-mortem generalization measures -- those computed on trained networks -- are \textbf{fragile}: small training modifications that barely affect the underlying DNN can substantially change a measure's value, trend, or scaling behavior. For example, minor hyperparameter changes, such as learning rate adjustments or switching between SGD variants can reverse the slope of a learning curve in widely used generalization measures like the path norm. We also identify subtler forms of fragility. For instance, the PAC-Bayes origin measure is regarded as one of the most reliable, and is indeed less sensitive to hyperparameter tweaks than many other measures. However, it completely fails to capture differences in data complexity across learning curves. This data fragility contrasts with the function-based marginal-likelihood PAC-Bayes bound, which does capture differences in data-complexity, including scaling behavior, in learning curves, but which is not a post-mortem measure. Beyond demonstrating that many bounds -- such as path, spectral and Frobenius norms, flatness proxies, and deterministic PAC-Bayes surrogates -- are fragile, this position paper also argues that developers of new measures should explicitly audit them for fragility.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)には様々な一般化手法が適用されている。 厳密な境界を得るのは難しいが、そのような測度はしばしば定性的一般化の傾向を再現すると仮定される。 本稿では,学習ネットワーク上で計算された多くのポストモーテム一般化尺度が,基礎となるDNNにほとんど影響を与えない小さなトレーニング修正によって,尺度の価値,傾向,あるいはスケーリングの振る舞いを大きく変えることができる,と論じる。 例えば、学習率調整やSGD変種間の切り替えのような小さなハイパーパラメータの変化は、パスノルムのような広く使われている一般化尺度で学習曲線の傾きを逆転させることができる。 また、脆弱性の微妙な形も特定します。 例えば、PAC-ベイズ原測度は最も信頼性が高く、他の多くの測度よりもハイパーパラメータの微調整に敏感ではない。 しかし、学習曲線間のデータの複雑さの違いを捉えるのに完全に失敗する。 このデータ不安定性は、関数ベースの辺縁的なPAC-Bayes境界と対照的であり、スケーリングの振る舞いを含むデータ複雑度の違いを学習曲線で捉えているが、これは反省の尺度ではない。 パス、スペクトル、フロベニウスノルム、平坦性プロキシ、決定論的PAC-ベイズサロゲートなどの多くの境界が脆弱であることの証明に加えて、このポジションペーパーでは、新しい尺度の開発者は、脆弱性のためにそれらを明示的に監査すべきであると主張している。

関連論文リスト

• Typicalness-Aware Learning for Failure Detection [26.23185979968123]
  ディープニューラルネットワーク(DNN)は、しばしば自信過剰な問題に悩まされる。 そこで本研究では,本問題に対処し,故障検出性能を向上させるために,S typicalness-Aware Learning (TAL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-04T11:09:47Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Grounding Representation Similarity with Statistical Testing [8.296135566684065]
  我々は,機能的行動に影響を与える変化や,そうでない変化に対する特異性に対して,尺度は敏感であるべきだと論じる。 我々は、分布シフトの正確性や堅牢性など、様々な機能的挙動を通じてこれを定量化する。 現在のメトリクスはさまざまな弱点を示しており、古典的なベースラインが驚くほどうまく機能していることに気付き、すべてのメトリクスが失敗しているように見える設定を強調しています。
  論文  参考訳（メタデータ） (2021-08-03T17:58:16Z)
• Predicting Deep Neural Network Generalization with Perturbation Response Curves [58.8755389068888]
  トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。 具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。 PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
  論文  参考訳（メタデータ） (2021-06-09T01:37:36Z)
• Overcoming the curse of dimensionality with Laplacian regularization in semi-supervised learning [80.20302993614594]
  ラプラシア正規化の欠点を克服するための統計的解析を提供する。 望ましい振る舞いを示すスペクトルフィルタリング法を多数発表する。 我々は,本手法を大量のデータで利用できるようにするために,現実的な計算ガイドラインを提供する。
  論文  参考訳（メタデータ） (2020-09-09T14:28:54Z)
• Tangent Space Sensitivity and Distribution of Linear Regions in ReLU Networks [0.0]
  我々は, 接空間における対角安定性を考察し, 安定度を特徴付けるために接空間感度を提案する。 フィードフォワード完全連結ReLUネットワークに対する計算容易な境界と経験的測度を導出する。 我々の実験は、単純な境界や測度でさえ経験的一般化ギャップと関連していることを示唆している。
  論文  参考訳（メタデータ） (2020-06-11T20:02:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。