論文の概要: Fantastic Generalization Measures are Nowhere to be Found

• arxiv url: http://arxiv.org/abs/2309.13658v1
• Date: Sun, 24 Sep 2023 14:53:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 18:23:19.812170
• Title: Fantastic Generalization Measures are Nowhere to be Found
• Title（参考訳）: 先進的な一般化対策は見つからない
• Authors: Michael Gastpar, Ido Nachum, Jonathan Shafer, Thomas Weinberger
• Abstract要約: 文献に共通する2種類の一般化境界を考える。 アルゴリズムの性能と境界の厳密さとのトレードオフを示す。
• 参考スコア（独自算出の注目度）: 14.599761709255917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerous generalization bounds have been proposed in the literature as potential explanations for the ability of neural networks to generalize in the overparameterized setting. However, none of these bounds are tight. For instance, in their paper ``Fantastic Generalization Measures and Where to Find Them'', Jiang et al. (2020) examine more than a dozen generalization bounds, and show empirically that none of them imply guarantees that can explain the remarkable performance of neural networks. This raises the question of whether tight generalization bounds are at all possible. We consider two types of generalization bounds common in the literature: (1) bounds that depend on the training set and the output of the learning algorithm. There are multiple bounds of this type in the literature (e.g., norm-based and margin-based bounds), but we prove mathematically that no such bound can be uniformly tight in the overparameterized setting; (2) bounds that depend on the training set and on the learning algorithm (e.g., stability bounds). For these bounds, we show a trade-off between the algorithm's performance and the bound's tightness. Namely, if the algorithm achieves good accuracy on certain distributions in the overparameterized setting, then no generalization bound can be tight for it. We conclude that generalization bounds in the overparameterized setting cannot be tight without suitable assumptions on the population distribution.
• Abstract（参考訳）: ニューラルネットワークが過パラメータ設定で一般化する能力の潜在的な説明として、多くの一般化境界が文献に提案されている。 しかし、これらの境界はタイトではない。 例えば、jiang氏ら(2020年)は論文“fantastic generalization measures and where to find them'”の中で、1ダース以上の一般化境界を調査し、ニューラルネットワークの顕著な性能を説明するような保証はないことを実証的に示している。 これは、密接な一般化境界が可能かどうかという疑問を提起する。 本論文では,(1)学習セットに依存する境界と学習アルゴリズムの出力という2種類の一般化境界について考察する。 このタイプの文献には複数の境界(ノルムベースやマージンベースなど)があるが、数学的には、過度なパラメータ設定ではそのような境界が一様に厳密でないことを証明している; (2) トレーニングセットと学習アルゴリズムに依存する境界(安定性境界など)。 これらの境界に対して,アルゴリズムの性能と境界の厳密さとのトレードオフを示す。 すなわち、もしアルゴリズムが過パラメータ設定の特定の分布において良好な精度を達成すれば、一般化のバウンドはない。 オーバーパラメータ化設定における一般化境界は、人口分布に関する適切な仮定なしではきつくできないと結論づける。

関連論文リスト

• Which Algorithms Have Tight Generalization Bounds? [13.364505088105508]
  我々は、どの機械学習アルゴリズムが厳密な一般化境界を持つかを研究する。 ある種の帰納バイアスが不安定なアルゴリズムは、厳密な一般化境界を認めないことを示す。 我々は、アルゴリズムの損失の条件的分散に、厳密な一般化境界の存在を関連づけた、簡単な特徴付けで結論付ける。
  論文  参考訳（メタデータ） (2024-10-02T19:24:57Z)
• Leveraging PAC-Bayes Theory and Gibbs Distributions for Generalization Bounds with Complexity Measures [14.408127155170774]
  我々は、分解されたPAC-Bayes境界の枠組みを活用し、任意の複雑性測度で瞬時化可能な一般一般化を導出する。 我々の境界は仮説と学習サンプルを共同で確率に立っており、これは複雑性を一般化ギャップに適応させることができる。
  論文  参考訳（メタデータ） (2024-02-19T10:15:11Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Chained Generalisation Bounds [26.043342234937747]
  連鎖手法を用いて教師付き学習アルゴリズムの予測一般化誤差の上限を導出する。 我々は、損失関数の正則性に基づく一般化境界と、それらの鎖付き関数との双対性を確立する。
  論文  参考訳（メタデータ） (2022-03-02T09:34:36Z)
• Explaining generalization in deep learning: progress and fundamental limits [8.299945169799795]
  論文の前半では、勾配勾配による深層ネットワークのトレーニングがネットワークの容量を暗黙的に制御する方法を実証的に研究する。 次に、パラメータ数に対する依存性を改善した一様収束に基づく一般化境界を、データ依存の em から導出する。 論文の最後の部分では、未ラベルデータを用いて一般化を推定する経験的手法を導入する。
  論文  参考訳（メタデータ） (2021-10-17T21:17:30Z)
• An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization [53.592597682854944]
  リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。 両課題に対してERMは極小最適であることを示す。
  論文  参考訳（メタデータ） (2021-02-25T19:06:48Z)
• Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
  我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。 解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
  論文  参考訳（メタデータ） (2021-02-07T14:47:00Z)
• Robustness, Privacy, and Generalization of Adversarial Training [84.38148845727446]
  本稿では, 対人訓練におけるプライバシ・ロバスト性トレードオフと一般化・ロバスト性トレードオフの確立と定量化を行う。 我々は,差分プライバシの大きさが強固な強度と正の相関を持つ場合,敵対的トレーニングは$(varepsilon,delta)$-differentially privateであることが示される。 我々の一般化境界は、ディープラーニングにおいて大きなパラメータサイズに明示的に依存していない。
  論文  参考訳（メタデータ） (2020-12-25T13:35:02Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Tighter Generalization Bounds for Iterative Differentially Private Learning Algorithms [95.73230376153872]
  本稿では,反復学習アルゴリズムにおける一般化とプライバシ保護の関係を2つのステップで検討する。 我々は、$(varepsilon, delta)$-differential privacyは、マルチデータベース学習アルゴリズムに縛られる平均的な一般化を意味することを証明している。 次に,ほとんどの学習アルゴリズムが共有する反復的な性質が,プライバシーの保護とさらなる一般化にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2020-07-18T09:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。