論文の概要: Fantastic Generalization Measures are Nowhere to be Found

• arxiv url: http://arxiv.org/abs/2309.13658v2
• Date: Tue, 28 Nov 2023 16:47:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 14:36:40.007365
• Title: Fantastic Generalization Measures are Nowhere to be Found
• Title（参考訳）: 先進的な一般化対策は見つからない
• Authors: Michael Gastpar, Ido Nachum, Jonathan Shafer, Thomas Weinberger
• Abstract要約: 本研究では,一様に密接な一般化の概念について検討し,人口減少との差が小さいことを示す。 ニューラルネットワークの一般化能力の潜在的な説明として、多くの一般化境界が文献で提案されている。
• 参考スコア（独自算出の注目度）: 14.599761709255917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the notion of a generalization bound being uniformly tight, meaning that the difference between the bound and the population loss is small for all learning algorithms and all population distributions. Numerous generalization bounds have been proposed in the literature as potential explanations for the ability of neural networks to generalize in the overparameterized setting. However, in their paper ``Fantastic Generalization Measures and Where to Find Them,'' Jiang et al. (2020) examine more than a dozen generalization bounds, and show empirically that none of them are uniformly tight. This raises the question of whether uniformly-tight generalization bounds are at all possible in the overparameterized setting. We consider two types of generalization bounds: (1) bounds that may depend on the training set and the learned hypothesis (e.g., margin bounds). We prove mathematically that no such bound can be uniformly tight in the overparameterized setting; (2) bounds that may in addition also depend on the learning algorithm (e.g., stability bounds). For these bounds, we show a trade-off between the algorithm's performance and the bound's tightness. Namely, if the algorithm achieves good accuracy on certain distributions, then no generalization bound can be uniformly tight for it in the overparameterized setting. We explain how these formal results can, in our view, inform research on generalization bounds for neural networks, while stressing that other interpretations of these results are also possible.
• Abstract（参考訳）: 本研究では,全学習アルゴリズムと全人口分布において,有界と人口損失の差が小さく,一様に密接な一般化の概念を考察する。 ニューラルネットワークが過パラメータ設定で一般化する能力の潜在的な説明として、多くの一般化境界が文献に提案されている。 しかし、彼の論文「fantastic generalization measures and where to find them」において、jiangら(2020年)は10以上の一般化境界を調べ、それぞれが一様にタイトではないことを実証的に示している。 これは、一様密な一般化境界が超パラメータ設定において可能かどうかという疑問を提起する。 一般化境界は、(1)訓練集合と学習された仮説(例えば、マージン境界)に依存するかもしれない境界である。 数学的には、そのような境界は超パラメータ設定では一様にタイトにできないことを証明し、(2)さらに学習アルゴリズム(例えば、安定性境界)に依存するような境界も証明する。 これらの境界に対して,アルゴリズムの性能と境界の厳密さとのトレードオフを示す。 すなわち、アルゴリズムが特定の分布に対して良好な精度を達成した場合、過度なパラメータ設定で一般化境界を均一に締め付けることはできない。 これらの形式的結果がニューラルネットワークの一般化境界に関する研究にどのように影響を与えるかを説明するとともに、これらの結果の他の解釈も可能であることを強調する。

関連論文リスト

• Which Algorithms Have Tight Generalization Bounds? [13.364505088105508]
  我々は、どの機械学習アルゴリズムが厳密な一般化境界を持つかを研究する。 ある種の帰納バイアスが不安定なアルゴリズムは、厳密な一般化境界を認めないことを示す。 我々は、アルゴリズムの損失の条件的分散に、厳密な一般化境界の存在を関連づけた、簡単な特徴付けで結論付ける。
  論文  参考訳（メタデータ） (2024-10-02T19:24:57Z)
• Leveraging PAC-Bayes Theory and Gibbs Distributions for Generalization Bounds with Complexity Measures [14.408127155170774]
  我々は、分解されたPAC-Bayes境界の枠組みを活用し、任意の複雑性測度で瞬時化可能な一般一般化を導出する。 我々の境界は仮説と学習サンプルを共同で確率に立っており、これは複雑性を一般化ギャップに適応させることができる。
  論文  参考訳（メタデータ） (2024-02-19T10:15:11Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Chained Generalisation Bounds [26.043342234937747]
  連鎖手法を用いて教師付き学習アルゴリズムの予測一般化誤差の上限を導出する。 我々は、損失関数の正則性に基づく一般化境界と、それらの鎖付き関数との双対性を確立する。
  論文  参考訳（メタデータ） (2022-03-02T09:34:36Z)
• Explaining generalization in deep learning: progress and fundamental limits [8.299945169799795]
  論文の前半では、勾配勾配による深層ネットワークのトレーニングがネットワークの容量を暗黙的に制御する方法を実証的に研究する。 次に、パラメータ数に対する依存性を改善した一様収束に基づく一般化境界を、データ依存の em から導出する。 論文の最後の部分では、未ラベルデータを用いて一般化を推定する経験的手法を導入する。
  論文  参考訳（メタデータ） (2021-10-17T21:17:30Z)
• An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization [53.592597682854944]
  リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。 両課題に対してERMは極小最適であることを示す。
  論文  参考訳（メタデータ） (2021-02-25T19:06:48Z)
• Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
  我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。 解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
  論文  参考訳（メタデータ） (2021-02-07T14:47:00Z)
• Robustness, Privacy, and Generalization of Adversarial Training [84.38148845727446]
  本稿では, 対人訓練におけるプライバシ・ロバスト性トレードオフと一般化・ロバスト性トレードオフの確立と定量化を行う。 我々は,差分プライバシの大きさが強固な強度と正の相関を持つ場合,敵対的トレーニングは$(varepsilon,delta)$-differentially privateであることが示される。 我々の一般化境界は、ディープラーニングにおいて大きなパラメータサイズに明示的に依存していない。
  論文  参考訳（メタデータ） (2020-12-25T13:35:02Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Tighter Generalization Bounds for Iterative Differentially Private Learning Algorithms [95.73230376153872]
  本稿では,反復学習アルゴリズムにおける一般化とプライバシ保護の関係を2つのステップで検討する。 我々は、$(varepsilon, delta)$-differential privacyは、マルチデータベース学習アルゴリズムに縛られる平均的な一般化を意味することを証明している。 次に,ほとんどの学習アルゴリズムが共有する反復的な性質が,プライバシーの保護とさらなる一般化にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2020-07-18T09:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。