論文の概要: Implicit Regularization in Deep Tensor Factorization

• arxiv url: http://arxiv.org/abs/2105.01346v1
• Date: Tue, 4 May 2021 07:48:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-05 13:07:46.187578
• Title: Implicit Regularization in Deep Tensor Factorization
• Title（参考訳）: 深部腱因子化におけるインプシブ規則化
• Authors: Paolo Milanesi (QARMA), Hachem Kadri (LIS, QARMA, AMU SCI), St\'ephane Ayache (QARMA), Thierry Arti\`eres (QARMA)
• Abstract要約: 完了タスクに対処するために,deep tucker と tt unconstrained factorization を導入する。 合成データと実データの両方の実験は、勾配降下が低ランクの溶液を促進することを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attempts of studying implicit regularization associated to gradient descent (GD) have identified matrix completion as a suitable test-bed. Late findings suggest that this phenomenon cannot be phrased as a minimization-norm problem, implying that a paradigm shift is required and that dynamics has to be taken into account. In the present work we address the more general setup of tensor completion by leveraging two popularized tensor factorization, namely Tucker and TensorTrain (TT). We track relevant quantities such as tensor nuclear norm, effective rank, generalized singular values and we introduce deep Tucker and TT unconstrained factorization to deal with the completion task. Experiments on both synthetic and real data show that gradient descent promotes solution with low-rank, and validate the conjecture saying that the phenomenon has to be addressed from a dynamical perspective.
• Abstract（参考訳）: 勾配降下(GD)に関連する暗黙的正則化の研究の試みは、行列の完成を適切なテストベッドとして特定した。 近年の知見は、この現象を最小化ノルム問題とは言い表せないことを示唆しており、パラダイムシフトが必要であり、ダイナミクスを考慮する必要があることを示唆している。 本稿では,一般化した2つのテンソル因子分解(tucker and tensortrain (tt)) を活用することで,より一般的なテンソル完全化の設定に対処した。 我々は、テンソル核ノルム、有効ランク、一般化特異値などの関連量を追跡し、完了タスクに対処するために深いタッカーとTT非制約因子化を導入する。 合成データと実データの両方における実験は、勾配降下が低ランクの解を促進することを示し、この現象は力学的な観点から対処しなければならないという予想を検証する。

関連論文リスト

• Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent [4.031100721019478]
  遅延学習体制を超えて過度にパラメータ化されたテンソル分解問題における暗黙正則化の厳密な解析を行う。 勾配流ではなく勾配降下の種別の最初のテンソル結果を証明する。
  論文  参考訳（メタデータ） (2024-10-21T17:52:01Z)
• Provable Tensor Completion with Graph Information [49.08648842312456]
  本稿では,動的グラフ正規化テンソル完備問題の解法として,新しいモデル,理論,アルゴリズムを提案する。 我々はテンソルの低ランクおよび類似度構造を同時に捉える包括的モデルを開発する。 理論の観点からは、提案したグラフの滑らか度正規化と重み付きテンソル核ノルムとの整合性を示す。
  論文  参考訳（メタデータ） (2023-10-04T02:55:10Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Model based Multi-agent Reinforcement Learning with Tensor Decompositions [52.575433758866936]
  本稿では、CPランクの低いテンソルとして遷移関数と報酬関数をモデル化することにより、未探索の状態-作用対上の状態-作用空間の一般化を考察する。 合成MDPの実験により、モデルに基づく強化学習アルゴリズムでテンソル分解を用いることで、真の遷移関数と報酬関数が実際に低ランクである場合、はるかに高速な収束が得られることが示された。
  論文  参考訳（メタデータ） (2021-10-27T15:36:25Z)
• Implicit Regularization in Tensor Factorization [17.424619189180675]
  深層学習における暗黙的正規化は、学習データと最小の「複雑度」の予測者に適合する勾配に基づく最適化の傾向として認識される。 テンソルランクは、ニューラルネットワークの暗黙の正規化と、それを一般化に翻訳する実世界のデータの性質の両方を説明する方法となるかもしれない。
  論文  参考訳（メタデータ） (2021-02-19T15:10:26Z)
• Learning Quantized Neural Nets by Coarse Gradient Method for Non-linear Classification [3.158346511479111]
  特定の単調性を持つSTEのクラスを提案し、量子化されたアクティベーション関数を持つ2層ネットワークのトレーニングへの応用について検討する。 提案したSTEに対して,対応する粗度勾配法が大域最小値に収束することを示し,性能保証を確立する。
  論文  参考訳（メタデータ） (2020-11-23T07:50:09Z)
• Low-Rank and Sparse Enhanced Tucker Decomposition for Tensor Completion [3.498620439731324]
  テンソル完備化のために,低ランクかつスパースに拡張されたタッカー分解モデルを導入する。 我々のモデルはスパースコアテンソルを促進するためにスパース正規化項を持ち、テンソルデータ圧縮に有用である。 テンソルに出現する潜在的な周期性と固有相関特性を利用するので,本モデルでは様々な種類の実世界のデータセットを扱うことが可能である。
  論文  参考訳（メタデータ） (2020-10-01T12:45:39Z)
• Uncertainty quantification for nonconvex tensor completion: Confidence intervals, heteroscedasticity and optimality [92.35257908210316]
  本研究では,不完全かつ破損した観測によって与えられる低ランクテンソルを推定する問題について検討する。 改善不可能なレートをell-2$の精度で達成できることが分かりました。
  論文  参考訳（メタデータ） (2020-06-15T17:47:13Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Tensor denoising and completion based on ordinal observations [11.193504036335503]
  我々は,不完全と思われる順序値の観測から,低ランクテンソル推定の問題を考える。 本稿では,マルチ線形累積リンクモデルを提案し,ランク制約付きM推定器を開発し,理論的精度の保証を得る。 提案した推定器は低ランクモデルのクラスにおいて最小限最適であることを示す。
  論文  参考訳（メタデータ） (2020-02-16T07:09:56Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。