論文の概要: Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent

• arxiv url: http://arxiv.org/abs/2410.16247v1
• Date: Mon, 21 Oct 2024 17:52:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:19:24.360079
• Title: Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent
• Title（参考訳）: 緩やかな輝きによる歯槽腱の因子分解に対するインプシット規則化法
• Authors: Santhosh Karnik, Anna Veselovska, Mark Iwen, Felix Krahmer,
• Abstract要約: 遅延学習体制を超えて過度にパラメータ化されたテンソル分解問題における暗黙正則化の厳密な解析を行う。 勾配流ではなく勾配降下の種別の最初のテンソル結果を証明する。
• 参考スコア（独自算出の注目度）: 4.031100721019478
• License:
• Abstract: We provide a rigorous analysis of implicit regularization in an overparametrized tensor factorization problem beyond the lazy training regime. For matrix factorization problems, this phenomenon has been studied in a number of works. A particular challenge has been to design universal initialization strategies which provably lead to implicit regularization in gradient-descent methods. At the same time, it has been argued by Cohen et. al. 2016 that more general classes of neural networks can be captured by considering tensor factorizations. However, in the tensor case, implicit regularization has only been rigorously established for gradient flow or in the lazy training regime. In this paper, we prove the first tensor result of its kind for gradient descent rather than gradient flow. We focus on the tubal tensor product and the associated notion of low tubal rank, encouraged by the relevance of this model for image data. We establish that gradient descent in an overparametrized tensor factorization model with a small random initialization exhibits an implicit bias towards solutions of low tubal rank. Our theoretical findings are illustrated in an extensive set of numerical simulations show-casing the dynamics predicted by our theory as well as the crucial role of using a small random initialization.
• Abstract（参考訳）: 遅延学習体制を超えて過度にパラメータ化されたテンソル分解問題における暗黙正則化の厳密な解析を行う。 行列分解問題に対して、この現象は多くの研究で研究されている。 特に問題となるのは、勾配差分法における暗黙の正則化を確実に導く普遍初期化戦略を設計することであった。 同時に、Cohenらによって2016年より一般的なニューラルネットワークのクラスはテンソル因数分解を考慮することで捉えることができると論じられている。 しかしながら、テンソルの場合、暗黙の正規化は勾配流や遅延訓練体制のために厳格に確立されているだけである。 本稿では,勾配流ではなく勾配勾配降下に対する第1次テンソル結果の証明を行う。 我々は,このモデルが画像データに関係していることから,管状テンソル積とそれに伴う低管状ランクの概念に注目した。 ランダム初期化が小さい過度にパラメータ化されたテンソル因子化モデルにおける勾配勾配は、低チューブランクの解に対して暗黙の偏りを示す。 我々の理論は、我々の理論によって予測される力学を実証する広範な数値シミュレーションと、小さなランダム初期化を用いる重要な役割で示される。

関連論文リスト

• Low-Rank Tensor Learning by Generalized Nonconvex Regularization [25.115066273660478]
  低ランクテンソル学習の問題点について検討し, 基礎となるテンソルを観測するサンプルはごくわずかである。 非テンソル学習関数の族は、基礎となるテンソルの低ランク性を特徴づけるために用いられる。 結果の大量化最小化を解決するために設計されたアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T03:33:20Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Understanding Deflation Process in Over-parametrized Tensor Decomposition [17.28303004783945]
  過度にパラメータ化されたテンソル分解問題における勾配流のトレーニング力学について検討する。 経験的に、このようなトレーニングプロセスは、まず大きなコンポーネントに適合し、次に小さなコンポーネントを発見する。
  論文  参考訳（メタデータ） (2021-06-11T18:51:36Z)
• Implicit Regularization in Deep Tensor Factorization [0.0]
  完了タスクに対処するために,deep tucker と tt unconstrained factorization を導入する。 合成データと実データの両方の実験は、勾配降下が低ランクの溶液を促進することを示している。
  論文  参考訳（メタデータ） (2021-05-04T07:48:40Z)
• Implicit Regularization in Tensor Factorization [17.424619189180675]
  深層学習における暗黙的正規化は、学習データと最小の「複雑度」の予測者に適合する勾配に基づく最適化の傾向として認識される。 テンソルランクは、ニューラルネットワークの暗黙の正規化と、それを一般化に翻訳する実世界のデータの性質の両方を説明する方法となるかもしれない。
  論文  参考訳（メタデータ） (2021-02-19T15:10:26Z)
• On the Implicit Bias of Initialization Shape: Beyond Infinitesimal Mirror Descent [55.96478231566129]
  学習モデルを決定する上で,相対スケールが重要な役割を果たすことを示す。 勾配流の誘導バイアスを導出する手法を開発した。
  論文  参考訳（メタデータ） (2021-02-19T07:10:48Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。