論文の概要: Implicit Regularization with Polynomial Growth in Deep Tensor Factorization

• arxiv url: http://arxiv.org/abs/2207.08942v1
• Date: Mon, 18 Jul 2022 21:04:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 12:57:32.148151
• Title: Implicit Regularization with Polynomial Growth in Deep Tensor Factorization
• Title（参考訳）: 深部テンソル因子分解における多項式成長を伴う暗黙的正則化
• Authors: Kais Hariz, Hachem Kadri, St\'ephane Ayache, Mahzer Moakher, Thierry Arti\`eres
• Abstract要約: テンソル因子化における深層学習の暗黙的正則化効果について検討した。 深いテンソル因子化におけるその効果はネットワークの深さとともに忠実に成長することを示す。
• 参考スコア（独自算出の注目度）: 4.30484058393522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the implicit regularization effects of deep learning in tensor factorization. While implicit regularization in deep matrix and 'shallow' tensor factorization via linear and certain type of non-linear neural networks promotes low-rank solutions with at most quadratic growth, we show that its effect in deep tensor factorization grows polynomially with the depth of the network. This provides a remarkably faithful description of the observed experimental behaviour. Using numerical experiments, we demonstrate the benefits of this implicit regularization in yielding a more accurate estimation and better convergence properties.
• Abstract（参考訳）: テンソル因子分解における深層学習の暗黙的正規化効果について検討した。 線形およびある種の非線形ニューラルネットワークによる暗黙的な行列の正規化と「シャロー」テンソル分解は、少なくとも2次成長を持つ低ランク解を促進させるが、ディープテンソル分解におけるその効果はネットワークの深さとともに多項式的に増加する。 これは観測された実験行動の極めて忠実な説明を与える。 数値実験を用いて,この暗黙の正則化により,より正確な推定と収束特性が得られることを示す。

関連論文リスト

• Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent [4.031100721019478]
  遅延学習体制を超えて過度にパラメータ化されたテンソル分解問題における暗黙正則化の厳密な解析を行う。 勾配流ではなく勾配降下の種別の最初のテンソル結果を証明する。
  論文  参考訳（メタデータ） (2024-10-21T17:52:01Z)
• Factor Augmented Tensor-on-Tensor Neural Networks [3.0040661953201475]
  本稿では、テンソル因子モデルとディープニューラルネットワークを融合したFATTNN(Facter Augmented-on-Tensor Neural Network)を提案する。 提案アルゴリズムは,予測精度を大幅に向上し,計算時間を大幅に短縮することを示す。
  論文  参考訳（メタデータ） (2024-05-30T01:56:49Z)
• Convergence Analysis for Learning Orthonormal Deep Linear Neural Networks [27.29463801531576]
  本稿では,正規直交深部線形ニューラルネットワークの学習のための収束解析について述べる。 その結果、隠れた層の増加が収束速度にどのように影響するかが明らかになった。
  論文  参考訳（メタデータ） (2023-11-24T18:46:54Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Implicit Regularization in Tensor Factorization [17.424619189180675]
  深層学習における暗黙的正規化は、学習データと最小の「複雑度」の予測者に適合する勾配に基づく最適化の傾向として認識される。 テンソルランクは、ニューラルネットワークの暗黙の正規化と、それを一般化に翻訳する実世界のデータの性質の両方を説明する方法となるかもしれない。
  論文  参考訳（メタデータ） (2021-02-19T15:10:26Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。