論文の概要: Does the Data Induce Capacity Control in Deep Learning?

• arxiv url: http://arxiv.org/abs/2110.14163v1
• Date: Wed, 27 Oct 2021 04:40:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 13:31:10.418262
• Title: Does the Data Induce Capacity Control in Deep Learning?
• Title（参考訳）: 深層学習におけるデータの容量制御は可能か?
• Authors: Yang Rubing, Mao Jialin, Chaudhari Pratik
• Abstract要約: 本稿では,データセットがディープネットワークの異常一般化性能の原因である可能性について検討する。 典型的な分類データセットのデータ相関行列は、急激な初期降下の後、指数関数的に広い範囲で多数の小さな固有値が均一に分布する固有スペクトルを持つことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper studies how the dataset may be the cause of the anomalous generalization performance of deep networks. We show that the data correlation matrix of typical classification datasets has an eigenspectrum where, after a sharp initial drop, a large number of small eigenvalues are distributed uniformly over an exponentially large range. This structure is mirrored in a network trained on this data: we show that the Hessian and the Fisher Information Matrix (FIM) have eigenvalues that are spread uniformly over exponentially large ranges. We call such eigenspectra "sloppy" because sets of weights corresponding to small eigenvalues can be changed by large magnitudes without affecting the loss. Networks trained on atypical, non-sloppy synthetic data do not share these traits. We show how this structure in the data can give to non-vacuous PAC-Bayes generalization bounds analytically; we also construct data-distribution dependent priors that lead to accurate bounds using numerical optimization.
• Abstract（参考訳）: 本稿では,ディープネットワークの異常一般化性能の原因となるデータセットについて検討する。 典型的な分類データセットのデータ相関行列は、急激な初期降下の後、指数関数的に広い範囲で多数の小さな固有値が均一に分布する固有スペクトルを持つことを示す。 この構造は、このデータに基づいて訓練されたネットワークでミラーされ、ヘッセンとフィッシャー情報行列(FIM)が指数的に広い範囲に均一に広がる固有値を持つことを示す。 このような固有スペクトルを「スロッピー」と呼ぶのは、小さな固有値に対応する重みの集合は損失に影響を与えずに大きな大きさで変更できるからである。 非スロッピーな合成データで訓練されたネットワークは、これらの特徴を共有しない。 我々は、このデータ構造が非空のPAC-Bayes一般化境界にどのように影響するかを解析的に示し、また、数値最適化を用いて正確な境界となるデータ分布依存の事前を構築する。

関連論文リスト

• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Gaussian Universality of Linear Classifiers with Random Labels in High-Dimension [24.503842578208268]
  高次元における生成モデルから得られるデータは、ガウスデータと対応するデータ共分散の最小限の訓練損失を持つことを示す。 特に,同質なガウス雲と多モード生成ニューラルネットワークの任意の混合によって生成されたデータについて述べる。
  論文  参考訳（メタデータ） (2022-05-26T12:25:24Z)
• Harmless interpolation in regression and classification with structured features [21.064512161584872]
  過度にパラメータ化されたニューラルネットワークは、ノイズの多いトレーニングデータに完全に適合するが、テストデータではうまく一般化する。 再生カーネルヒルベルト空間における上界回帰と分類リスクの一般かつ柔軟な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-11-09T15:12:26Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Benign overfitting in ridge regression [0.0]
  過度にパラメータ化されたリッジ回帰に対する漸近的でない一般化境界を提供する。 最小あるいは負の正則化が小さい一般化誤差を得るのに十分であるかどうかを同定する。
  論文  参考訳（メタデータ） (2020-09-29T20:00:31Z)
• Self-training Avoids Using Spurious Features Under Domain Shift [54.794607791641745]
  教師なし領域適応においては、条件付きエントロピー最小化と擬似ラベル処理は、既存の理論で解析されたものよりもドメインシフトがはるかに大きい場合であっても行われる。 ドメインシフトが大きくなる可能性のある特定の設定を特定・分析するが、特定のスパイラルな特徴はソースドメインのラベルと相関するが、ターゲットの独立なラベルである。
  論文  参考訳（メタデータ） (2020-06-17T17:51:42Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)
• Neural Networks and Polynomial Regression. Demystifying the Overparametrization Phenomena [17.205106391379026]
  ニューラルネットワークモデルでは、過度パラメトリゼーション(overparametrization)は、これらのモデルが見えないデータに対してうまく一般化しているように見える現象を指す。 この現象の従来の説明は、データのトレーニングに使用されるアルゴリズムの自己正規化特性に基づいている。 教師ネットワークが生成したデータを補間する学生ネットワークは,少なくともデータ次元によって制御される明示的な量である場合,よく一般化することを示す。
  論文  参考訳（メタデータ） (2020-03-23T20:09:31Z)
• Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
  我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。