論文の概要: Implicit Regularization in Tensor Factorization

• arxiv url: http://arxiv.org/abs/2102.09972v1
• Date: Fri, 19 Feb 2021 15:10:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-22 13:40:43.522605
• Title: Implicit Regularization in Tensor Factorization
• Title（参考訳）: テンソル因子化における帰納規則化
• Authors: Noam Razin, Asaf Maman, Nadav Cohen
• Abstract要約: 深層学習における暗黙的正規化は、学習データと最小の「複雑度」の予測者に適合する勾配に基づく最適化の傾向として認識される。 テンソルランクは、ニューラルネットワークの暗黙の正規化と、それを一般化に翻訳する実世界のデータの性質の両方を説明する方法となるかもしれない。
• 参考スコア（独自算出の注目度）: 17.424619189180675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit regularization in deep learning is perceived as a tendency of gradient-based optimization to fit training data with predictors of minimal "complexity." The fact that only some types of data give rise to generalization is understood to result from them being especially amenable to fitting with low complexity predictors. A major challenge towards formalizing this intuition is to define complexity measures that are quantitative yet capture the essence of data that admits generalization. With an eye towards this challenge, we analyze the implicit regularization in tensor factorization, equivalent to a certain non-linear neural network. We characterize the dynamics that gradient descent induces on the factorization, and establish a bias towards low tensor rank, in compliance with existing empirical evidence. Then, motivated by tensor rank capturing implicit regularization of a non-linear neural network, we empirically explore it as a measure of complexity, and find that it stays extremely low when fitting standard datasets. This leads us to believe that tensor rank may pave way to explaining both implicit regularization of neural networks, and the properties of real-world data translating it to generalization.
• Abstract（参考訳）: 深層学習における暗黙の正規化は、学習データと最小の「複雑度」の予測者に適合する勾配に基づく最適化の傾向として認識される。 ある種のデータだけが一般化をもたらすという事実は、特に複雑性の低い予測子に適合できることから理解されている。 この直観を定式化する上での大きな課題は、量的かつ一般化を認めているデータの本質を捉えた複雑性測度を定義することである。 この課題に目を向けて、ある非線形ニューラルネットワークと同等のテンソル因子化における暗黙の正規化を分析する。 勾配降下がファクタリゼーションを誘導するダイナミクスを特徴づけ、既存の実証的証拠に従い、低テンソルランクへのバイアスを確立します。 次に、非線形ニューラルネットワークの暗黙の正規化を暗黙的に捉えるテンソルランクに動機づけられ、複雑性の尺度として経験的に検討し、標準データセットに適合する場合、非常に低いままであることを示す。 これは、テンソルランクがニューラルネットワークの暗黙の正規化と、それを一般化に翻訳する実世界のデータの性質の両方を説明する道を開くと信じている。

関連論文リスト

• Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent [4.031100721019478]
  遅延学習体制を超えて過度にパラメータ化されたテンソル分解問題における暗黙正則化の厳密な解析を行う。 勾配流ではなく勾配降下の種別の最初のテンソル結果を証明する。
  論文  参考訳（メタデータ） (2024-10-21T17:52:01Z)
• On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds [11.30047438005394]
  本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。 我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
  論文  参考訳（メタデータ） (2024-10-21T14:53:12Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Implicit Regularization with Polynomial Growth in Deep Tensor Factorization [4.30484058393522]
  テンソル因子化における深層学習の暗黙的正則化効果について検討した。 深いテンソル因子化におけるその効果はネットワークの深さとともに忠実に成長することを示す。
  論文  参考訳（メタデータ） (2022-07-18T21:04:37Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• The Neural Tangent Kernel in High Dimensions: Triple Descent and a Multi-Scale Theory of Generalization [34.235007566913396]
  現代のディープラーニングモデルでは、トレーニングデータに適合するために必要なパラメータよりもはるかに多くのパラメータが採用されている。 この予期せぬ振る舞いを記述するための新たなパラダイムは、エンファンダブル降下曲線(英語版)である。 本稿では,勾配降下を伴う広帯域ニューラルネットワークの挙動を特徴付けるニューラル・タンジェント・カーネルを用いた一般化の高精度な高次元解析を行う。
  論文  参考訳（メタデータ） (2020-08-15T20:55:40Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。