論文の概要: Deep Learning Generalization, Extrapolation, and Over-parameterization

• arxiv url: http://arxiv.org/abs/2203.10366v1
• Date: Sat, 19 Mar 2022 18:12:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 18:16:36.650648
• Title: Deep Learning Generalization, Extrapolation, and Over-parameterization
• Title（参考訳）: 深層学習の一般化・外挿・過パラメータ化
• Authors: Roozbeh Yousefzadeh
• Abstract要約: ディープネットワークの一般化は ミステリーだと考えられています モデルは、トレーニングサンプルよりも桁違いに多くのパラメータを持つ。 これらのモデルの訓練損失関数は、ゼロに近い最小値の無限個数を持つ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the generalization of over-parameterized deep networks (for image classification) in relation to the convex hull of their training sets. Despite their great success, generalization of deep networks is considered a mystery. These models have orders of magnitude more parameters than their training samples, and they can achieve perfect accuracy on their training sets, even when training images are randomly labeled, or the contents of images are replaced with random noise. The training loss function of these models has infinite number of near zero minimizers, where only a small subset of those minimizers generalize well. Overall, it is not clear why models need to be over-parameterized, why we should use a very specific training regime to train them, and why their classifications are so susceptible to imperceivable adversarial perturbations (phenomenon known as adversarial vulnerability) \cite{papernot2016limitations,shafahi2018adversarial,tsipras2018robustness}. Some recent studies have made advances in answering these questions, however, they only consider interpolation. We show that interpolation is not adequate to understand generalization of deep networks and we should broaden our perspective.
• Abstract（参考訳）: トレーニングセットの凸殻に関して,過パラメータ化深層ネットワーク(画像分類用)の一般化について検討した。 その大きな成功にもかかわらず、ディープネットワークの一般化はミステリーと見なされている。 これらのモデルは、トレーニングサンプルよりも桁違いに多くのパラメータを持ち、トレーニング画像がランダムにラベル付けされたり、画像の内容がランダムなノイズに置き換えられたりしても、トレーニングセットの完全な精度を達成できます。 これらのモデルのトレーニング損失関数は無限個の近傍最小化子を持ち、最小化子の小さな部分集合のみがよく一般化される。 全体として、モデルが過度にパラメータ化される必要がある理由、トレーニングに非常に特定のトレーニングレジームを使用するべき理由、そしてそれらの分類が、不可避な敵対的摂動(adversarial vulnerability)の影響を受けやすい理由が明確ではない。 近年の研究ではこれらの疑問に答える研究が進んでいるが、補間のみを考える研究もある。 我々は,深層ネットワークの一般化を理解するには補間が不十分であることを示す。

関連論文リスト

• Can Biases in ImageNet Models Explain Generalization? [13.802802975822704]
  一般化は、現在のディープラーニング手法における大きな課題の1つです。 画像分類において、これは敵対的攻撃の存在、歪んだ画像のパフォーマンス低下、スケッチのような概念への一般化の欠如に現れている。 我々は,48のイメージネットモデルに対して,これらのバイアスが一般化とどのように相互作用するかを理解するために,異なるトレーニング手法を用いて得られた大規模な研究を行う。
  論文  参考訳（メタデータ） (2024-04-01T22:25:48Z)
• Relearning Forgotten Knowledge: on Forgetting, Overfit and Training-Free Ensembles of DNNs [9.010643838773477]
  本稿では,検証データ上での深層モデルの忘れ度をモニタする,過剰適合度定量化のための新しいスコアを提案する。 オーバーフィットは検証精度を低下させることなく発生しうることを示し,従来よりも一般的である可能性が示唆された。 我々は,1つのネットワークのトレーニング履歴のみに基づいて,新たなアンサンブル法を構築するために,我々の観測結果を用いて,トレーニング時間に追加のコストを要さず,大幅な改善を実現する。
  論文  参考訳（メタデータ） (2023-10-17T09:22:22Z)
• A Modern Look at the Relationship between Sharpness and Generalization [64.03012884804458]
  ミニマのシャープ性は、ディープネットワークの一般化と相関できる有望な量である。 シャープネスは、ニューラルネットワークの再パラメータ化の下では不変ではない。 シャープネスは一般化とよく相関しないことを示す。
  論文  参考訳（メタデータ） (2023-02-14T12:38:12Z)
• Contrasting random and learned features in deep Bayesian linear regression [12.234742322758418]
  本研究では,学習能力が単純なモデルの一般化性能に与える影響について検討する。 すべての層が訓練されたディープネットワークと比較することにより、幅、深さ、データ密度、事前のミスマッチの相互作用を詳細に解析する。
  論文  参考訳（メタデータ） (2022-03-01T15:51:29Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• The Low-Rank Simplicity Bias in Deep Networks [46.79964271742486]
  我々は、ディープネットワークが帰納的にバイアスを受けているという仮説を調査し、拡張する実験的な観察を行い、低い有効ランク埋め込みの解を見つける。 我々の主張は、実践的な学習パラダイム上の有限幅線形および非線形モデルに真であることを示すとともに、自然データ上では、これらがよく一般化される解であることを示す。
  論文  参考訳（メタデータ） (2021-03-18T17:58:02Z)
• How benign is benign overfitting? [96.07549886487526]
  深層ニューラルネットワークにおける敵対的脆弱性の2つの原因について検討する。 ディープニューラルネットワークは基本的にラベルノイズがある場合でも、トレーニングエラーをゼロにする。 我々は、ラベルノイズを敵対的脆弱性の原因の1つとみなしている。
  論文  参考訳（メタデータ） (2020-07-08T11:07:10Z)
• Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality [74.0084803220897]
  逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。 自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
  論文  参考訳（メタデータ） (2020-02-16T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。