論文の概要: Generalization Through The Lens Of Leave-One-Out Error

• arxiv url: http://arxiv.org/abs/2203.03443v1
• Date: Mon, 7 Mar 2022 14:56:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 17:06:10.883566
• Title: Generalization Through The Lens Of Leave-One-Out Error
• Title（参考訳）: 残響エラーのレンズによる一般化
• Authors: Gregor Bachmann, Thomas Hofmann, Aur\'elien Lucchi
• Abstract要約: 本稿では,カーネルシステムにおけるディープニューラルネットワークの一般化能力を推定する方法として,残余誤差が有益であることを示す。 そこで本研究は,カーネルシステムにおけるディープニューラルネットワークの一般化能力を推定する方法として,残余誤差が有益であることを示す。
• 参考スコア（独自算出の注目度）: 22.188535244056016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the tremendous empirical success of deep learning models to solve various learning tasks, our theoretical understanding of their generalization ability is very limited. Classical generalization bounds based on tools such as the VC dimension or Rademacher complexity, are so far unsuitable for deep models and it is doubtful that these techniques can yield tight bounds even in the most idealistic settings (Nagarajan & Kolter, 2019). In this work, we instead revisit the concept of leave-one-out (LOO) error to measure the generalization ability of deep models in the so-called kernel regime. While popular in statistics, the LOO error has been largely overlooked in the context of deep learning. By building upon the recently established connection between neural networks and kernel learning, we leverage the closed-form expression for the leave-one-out error, giving us access to an efficient proxy for the test error. We show both theoretically and empirically that the leave-one-out error is capable of capturing various phenomena in generalization theory, such as double descent, random labels or transfer learning. Our work therefore demonstrates that the leave-one-out error provides a tractable way to estimate the generalization ability of deep neural networks in the kernel regime, opening the door to potential, new research directions in the field of generalization.
• Abstract（参考訳）: 様々な学習課題を解くための深層学習モデルの実証的な成功にもかかわらず、その一般化能力に関する理論的理解は非常に限られている。 VC次元やRademacher複雑性といったツールに基づいた古典的な一般化境界は、今のところディープモデルには不適であり、これらのテクニックが最も理想主義的な設定(Nagarajan & Kolter, 2019)でも厳密な境界が得られるかどうかは疑わしい。 そこで本研究では,カーネルシステムにおける深層モデルの一般化能力を測定するために,LOO(Left-one-out)誤差の概念を再検討する。 統計学では人気があるが、LOOの誤差はディープラーニングの文脈では見過ごされている。 最近確立されたニューラルネットワークとカーネル学習の接続の上に構築することで、残欠エラーに対してクローズドフォーム式を活用し、テストエラーの効率的なプロキシへのアクセスを可能にします。 理論上も経験的にも,二重降下やランダムラベル,転送学習など,一般化理論における様々な現象を捉えることができることを示した。 そこで本研究は, カーネルシステムにおけるディープニューラルネットワークの一般化能力を推定し, 一般化分野における新たな研究方向の扉を開くための, 難解な方法であることを示す。

関連論文リスト

• PAC-Bayes Compression Bounds So Tight That They Can Explain Generalization [48.26492774959634]
  線形部分空間におけるニューラルネットワークパラメータの量子化に基づく圧縮手法を開発した。 我々は、オッカムのカミソリをカプセル化した大きなモデルを、以前に知られていたよりもはるかに大きな範囲に圧縮できることを発見した。
  論文  参考訳（メタデータ） (2022-11-24T13:50:16Z)
• Learning Non-Vacuous Generalization Bounds from Optimization [8.294831479902658]
  最適化の観点からは、単純だが空でない一般化を示す。 我々は、勾配アルゴリズムによってアクセスされた仮説セットが本質的にフラクタル的であることを利用して、この目標を達成する。 数値解析により,現代のニューラルネットワークにおいて,本手法が有意な一般化を保証することが実証された。
  論文  参考訳（メタデータ） (2022-06-09T08:59:46Z)
• Why Robust Generalization in Deep Learning is Difficult: Perspective of Expressive Power [15.210336733607488]
  その結果, ニューラルネットワークのサイズが指数関数的でない限り, 分割されたデータの二項分類問題に対して, 一定の頑健な一般化ギャップが存在することがわかった。 ネットワークサイズに対して$exp(mathcalO(k))$を改良し、低ロバストな一般化誤差を実現する。
  論文  参考訳（メタデータ） (2022-05-27T09:53:04Z)
• Principled Knowledge Extrapolation with GANs [92.62635018136476]
  我々は,知識外挿の新たな視点から,対実合成を研究する。 本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。 提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
  論文  参考訳（メタデータ） (2022-05-21T08:39:42Z)
• Generalization by design: Shortcuts to Generalization in Deep Learning [7.751691910877239]
  よい一般化は、新しい幾何正則化器につながる層上の有界スペクトル積によってもたらされることを示す。 理論によって裏付けられ、我々は「設計による一般化」が現実的に可能であり、優れた一般化がネットワークの構造にコード化されることをさらに実証する。
  論文  参考訳（メタデータ） (2021-07-05T20:01:23Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• In Search of Robust Measures of Generalization [79.75709926309703]
  我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。 経験的に評価すると、これらの境界の大部分は数値的に空白である。 我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
  論文  参考訳（メタデータ） (2020-10-22T17:54:25Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Spectral Bias and Task-Model Alignment Explain Generalization in Kernel Regression and Infinitely Wide Neural Networks [17.188280334580195]
  トレーニングデータセットを越えた一般化は、マシンラーニングの主な目標である。 最近のディープニューラルネットワークの観測は、古典統計学の従来の知恵と矛盾している。 より多くのデータが、カーネルがノイズや表現できないときに一般化を損なう可能性があることを示す。
  論文  参考訳（メタデータ） (2020-06-23T17:53:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。