論文の概要: Compression Implies Generalization

• arxiv url: http://arxiv.org/abs/2106.07989v1
• Date: Tue, 15 Jun 2021 09:08:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 15:07:21.588011
• Title: Compression Implies Generalization
• Title（参考訳）: Compression Implies Generalization
• Authors: Allan Gr{\o}nlund, Mikael H{\o}gsgaard, Lior Kamma, Kasper Green Larsen
• Abstract要約: 一般化境界を証明するための圧縮ベースのフレームワークを確立する。 また、他の一般的な機械学習モデルに対して、既知の最強の一般化境界の簡単な証明を可能にすることも示しています。
• 参考スコア（独自算出の注目度）: 15.43680379004285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explaining the surprising generalization performance of deep neural networks is an active and important line of research in theoretical machine learning. Influential work by Arora et al. (ICML'18) showed that, noise stability properties of deep nets occurring in practice can be used to provably compress model representations. They then argued that the small representations of compressed networks imply good generalization performance albeit only of the compressed nets. Extending their compression framework to yield generalization bounds for the original uncompressed networks remains elusive. Our main contribution is the establishment of a compression-based framework for proving generalization bounds. The framework is simple and powerful enough to extend the generalization bounds by Arora et al. to also hold for the original network. To demonstrate the flexibility of the framework, we also show that it allows us to give simple proofs of the strongest known generalization bounds for other popular machine learning models, namely Support Vector Machines and Boosting.
• Abstract（参考訳）: ディープニューラルネットワークの驚くべき一般化性能を説明することは、理論的機械学習における活発で重要な研究分野である。 Aroraらによるインフルエンシャルな作品。 (icml'18) は,実際に発生する深層網のノイズ安定性特性をモデル表現の圧縮に有効であることを示した。 彼らは、圧縮されたネットワークの小さな表現は、圧縮されたネットのみに対して優れた一般化性能を示すと論じた。 圧縮フレームワークを拡張して、オリジナルの非圧縮ネットワークの一般化境界を与えるのは、いまだに不可能である。 我々の主な貢献は、一般化境界を証明するための圧縮ベースのフレームワークの確立である。 このフレームワークは単純で強力で、Aroraらによる一般化境界を拡張するのに十分である。 元のネットワークも保持する。 フレームワークの柔軟性を示すために、ベクターマシンのサポートやブースティングなど、他の一般的な機械学習モデルでもっともよく知られた一般化境界を簡単に証明できることも示しています。

関連論文リスト

• Sparsity-aware generalization theory for deep neural networks [12.525959293825318]
  本稿では、ディープフィードフォワードReLUネットワークの一般化を解析するための新しいアプローチを提案する。 空間性と一般化の基本的なトレードオフを示す。
  論文  参考訳（メタデータ） (2023-07-01T20:59:05Z)
• PAC-Bayes Compression Bounds So Tight That They Can Explain Generalization [48.26492774959634]
  線形部分空間におけるニューラルネットワークパラメータの量子化に基づく圧縮手法を開発した。 我々は、オッカムのカミソリをカプセル化した大きなモデルを、以前に知られていたよりもはるかに大きな範囲に圧縮できることを発見した。
  論文  参考訳（メタデータ） (2022-11-24T13:50:16Z)
• Generalization Gap in Amortized Inference [17.951010274427187]
  確率モデルの一般的なクラス - 変分オートエンコーダ (VAE) の一般化について検討する。 過度に適合する現象は、通常、償却推論ネットワークに支配されていることを示す。 そこで本研究では,従来のウェイク・スリープ・アルゴリズムにヒントを得た新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2022-05-23T21:28:47Z)
• Disentangled Sequence to Sequence Learning for Compositional Generalization [62.954842223732435]
  本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。 意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-10-09T22:27:19Z)
• Heavy Tails in SGD and Compressibility of Overparametrized Neural Networks [9.554646174100123]
  本研究では, 勾配降下学習アルゴリズムの力学が圧縮性ネットワークの獲得に重要な役割を担っていることを示す。 我々は,ネットワークが「$ell_p$-compressible」であることが保証され,ネットワークサイズが大きくなるにつれて,異なるプルーニング手法の圧縮誤差が任意に小さくなることを示す。
  論文  参考訳（メタデータ） (2021-06-07T17:02:59Z)
• Attribution Preservation in Network Compression for Reliable Network Interpretation [81.84564694303397]
  安全に敏感なアプリケーションに埋め込まれたニューラルネットワークは、エッジ計算のサイズを減らすために、後向きの分析とネットワーク圧縮に入力属性に依存する。 ネットワーク圧縮が生成した属性を変形させるため,これらの非関係な手法が相互に競合することを示す。 この現象は、従来のネットワーク圧縮手法が、属性の品質を無視しながら、ネットワークの予測のみを保存するという事実から生じる。
  論文  参考訳（メタデータ） (2020-10-28T16:02:31Z)
• On Infinite-Width Hypernetworks [101.03630454105621]
  我々は、ハイパーネットワークが、下降中のグローバルなミニマを保証していないことを示す。 我々は,これらのアーキテクチャの機能的先行を,対応するGPカーネルとNTKカーネルを導出することによって同定する。 この研究の一環として、標準完全連結ReLUネットワークの高次テイラー項の厳密な境界を導出した数学的貢献を行う。
  論文  参考訳（メタデータ） (2020-03-27T00:50:29Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。