論文の概要: Implicit Regularization in Deep Learning May Not Be Explainable by Norms

• arxiv url: http://arxiv.org/abs/2005.06398v2
• Date: Sat, 17 Oct 2020 16:47:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 09:58:12.520563
• Title: Implicit Regularization in Deep Learning May Not Be Explainable by Norms
• Title（参考訳）: ディープラーニングにおける暗黙の正規化は規範によって説明できないかもしれない
• Authors: Noam Razin, Nadav Cohen
• Abstract要約: 暗黙の正則化がすべてのノルム(および準ノルム)を無限大へと導く自然な行列分解問題が存在することを示す。 我々の結果は、ノルムによる暗黙の正規化を知覚するのではなく、潜在的に有用な解釈はランクの最小化であることを示している。
• 参考スコア（独自算出の注目度）: 19.171942665409105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mathematically characterizing the implicit regularization induced by gradient-based optimization is a longstanding pursuit in the theory of deep learning. A widespread hope is that a characterization based on minimization of norms may apply, and a standard test-bed for studying this prospect is matrix factorization (matrix completion via linear neural networks). It is an open question whether norms can explain the implicit regularization in matrix factorization. The current paper resolves this open question in the negative, by proving that there exist natural matrix factorization problems on which the implicit regularization drives all norms (and quasi-norms) towards infinity. Our results suggest that, rather than perceiving the implicit regularization via norms, a potentially more useful interpretation is minimization of rank. We demonstrate empirically that this interpretation extends to a certain class of non-linear neural networks, and hypothesize that it may be key to explaining generalization in deep learning.
• Abstract（参考訳）: 勾配に基づく最適化によって引き起こされる暗黙の正規化を数学的に特徴づけることは、ディープラーニング理論における長年の追求である。 ノルムの最小化に基づく特徴付けが適用可能であり、この可能性を研究するための標準的なテストベッドは行列分解(線形ニューラルネットワークによる行列完備化)である。 ノルムが行列分解における暗黙の正則化を説明できるかどうかは明らかな問題である。 現在の論文は、暗黙の正則化がすべてのノルム(および準ノルム)を無限遠へと導く自然行列分解問題が存在することを証明して、負のこの公然とした問題を解く。 我々の結果は、ノルムによる暗黙の正規化を知覚するよりも、潜在的により有用な解釈はランクの最小化であることを示唆している。 この解釈が非線形ニューラルネットワークのある種のクラスにまで及んでいることを実証し、深層学習における一般化を説明する鍵となるかもしれないと仮定する。

関連論文リスト

• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Frobenius-Type Norms and Inner Products of Matrices and Linear Maps with Applications to Neural Network Training [0.41104247065851574]
  古典的なフロベニウスノルムは、より一般的なフロベニウス型ノルムの族に属する特別な元である。 この実現によって提供される重要な余分な自由は、ニューラルネットワークトレーニングのプレコンディションに利用することができる。
  論文  参考訳（メタデータ） (2023-11-26T21:03:25Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Penalising the biases in norm regularisation enforces sparsity [28.86954341732928]
  この研究は、関数を表すのに必要なパラメータのノルムが、その第二微分の総変分によって与えられることを示し、$sqrt1+x2$ factorで重み付けされる。 特に、この重み付け係数はバイアス項のノルムが正規化されないときに消失する。
  論文  参考訳（メタデータ） (2023-03-02T15:33:18Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
  我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。 解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
  論文  参考訳（メタデータ） (2021-02-07T14:47:00Z)
• Towards Resolving the Implicit Bias of Gradient Descent for Matrix Factorization: Greedy Low-Rank Learning [19.82453283089643]
  マトリックスファクタリゼーションは、降下勾配の暗黙の正規化を調べるためのシンプルで自然なテストベッドです。 深さ2行列分解では、無限小初期化を伴う流れは単純な階数最小化アルゴリズムと数学的に等価であることを示す。
  論文  参考訳（メタデータ） (2020-12-17T18:57:01Z)
• Implicit Regularization in ReLU Networks with the Square Loss [56.70360094597169]
  モデルパラメータの明示的な関数によって、平方損失による暗黙の正規化を特徴付けることは不可能であることを示す。 非線形予測器の暗黙的正規化を理解するためには,より一般的な枠組みが必要であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-09T16:48:03Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• On implicit regularization: Morse functions and applications to matrix factorization [1.713291434132985]
  主要なコントリビューションは、暗黙の正規化のための新しい基準である。 これらの手法を行列分解における暗黙正則化の予想に応用する。
  論文  参考訳（メタデータ） (2020-01-13T14:17:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。