論文の概要: PAC-Bayes Compression Bounds So Tight That They Can Explain
Generalization
- arxiv url: http://arxiv.org/abs/2211.13609v1
- Date: Thu, 24 Nov 2022 13:50:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 15:06:00.523547
- Title: PAC-Bayes Compression Bounds So Tight That They Can Explain
Generalization
- Title(参考訳): PAC-Bayes圧縮は、一般化を説明できるほど薄い
- Authors: Sanae Lotfi, Marc Finzi, Sanyam Kapoor, Andres Potapczynski, Micah
Goldblum, Andrew Gordon Wilson
- Abstract要約: 線形部分空間におけるニューラルネットワークパラメータの量子化に基づく圧縮手法を開発した。
我々は、オッカムのカミソリをカプセル化した大きなモデルを、以前に知られていたよりもはるかに大きな範囲に圧縮できることを発見した。
- 参考スコア(独自算出の注目度): 48.26492774959634
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While there has been progress in developing non-vacuous generalization bounds
for deep neural networks, these bounds tend to be uninformative about why deep
learning works. In this paper, we develop a compression approach based on
quantizing neural network parameters in a linear subspace, profoundly improving
on previous results to provide state-of-the-art generalization bounds on a
variety of tasks, including transfer learning. We use these tight bounds to
better understand the role of model size, equivariance, and the implicit biases
of optimization, for generalization in deep learning. Notably, we find large
models can be compressed to a much greater extent than previously known,
encapsulating Occam's razor. We also argue for data-independent bounds in
explaining generalization.
- Abstract(参考訳): ディープニューラルネットワークのための非空の一般化境界の開発は進展しているが、これらの境界はディープラーニングがなぜ機能するかに関して非形式的である傾向にある。
本稿では,線形部分空間におけるニューラルネットワークパラメータの量子化に基づく圧縮手法を開発し,これまでの結果から,転送学習を含む様々なタスクに最先端の一般化境界を提供する。
深層学習の一般化において、モデルサイズ、等価性、最適化の暗黙バイアスの役割をよりよく理解するために、これらの厳密な境界を用いる。
特に、オッカムのカミソリをカプセル化した大きなモデルは、これまでに知られていたよりもはるかに大きな範囲に圧縮できる。
また、一般化を説明する際のデータ非依存境界についても議論する。
関連論文リスト
- Non-Vacuous Generalization Bounds for Large Language Models [83.10315303618225]
事前訓練された大言語モデルに対して、最初の空でない一般化境界を提供する。
より大きいモデルはより優れた一般化バウンダリを持ち、より小さなモデルよりも圧縮性が高いことがわかった。
論文 参考訳(メタデータ) (2023-12-28T17:58:42Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳(メタデータ) (2022-11-02T16:39:42Z) - Generalization Through The Lens Of Leave-One-Out Error [22.188535244056016]
本稿では,カーネルシステムにおけるディープニューラルネットワークの一般化能力を推定する方法として,残余誤差が有益であることを示す。
そこで本研究は,カーネルシステムにおけるディープニューラルネットワークの一般化能力を推定する方法として,残余誤差が有益であることを示す。
論文 参考訳(メタデータ) (2022-03-07T14:56:00Z) - Explaining generalization in deep learning: progress and fundamental
limits [8.299945169799795]
論文の前半では、勾配勾配による深層ネットワークのトレーニングがネットワークの容量を暗黙的に制御する方法を実証的に研究する。
次に、パラメータ数に対する依存性を改善した一様収束に基づく一般化境界を、データ依存の em から導出する。
論文の最後の部分では、未ラベルデータを用いて一般化を推定する経験的手法を導入する。
論文 参考訳(メタデータ) (2021-10-17T21:17:30Z) - Measuring Generalization with Optimal Transport [111.29415509046886]
我々は、マージンを最適輸送コストで正規化する、マージンベースの一般化境界を開発する。
我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。
論文 参考訳(メタデータ) (2021-06-07T03:04:59Z) - A General Framework for the Practical Disintegration of PAC-Bayesian
Bounds [2.516393111664279]
我々は、分解された境界を与えるために原性を持つ新しいPAC-ベイズ一般化境界を導入する。
我々の境界は容易に最適化でき、学習アルゴリズムの設計に使うことができる。
論文 参考訳(メタデータ) (2021-02-17T09:36:46Z) - Spectral Bias and Task-Model Alignment Explain Generalization in Kernel
Regression and Infinitely Wide Neural Networks [17.188280334580195]
トレーニングデータセットを越えた一般化は、マシンラーニングの主な目標である。
最近のディープニューラルネットワークの観測は、古典統計学の従来の知恵と矛盾している。
より多くのデータが、カーネルがノイズや表現できないときに一般化を損なう可能性があることを示す。
論文 参考訳(メタデータ) (2020-06-23T17:53:11Z) - Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。
実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
論文 参考訳(メタデータ) (2020-02-19T16:00:47Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳(メタデータ) (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。