論文の概要: Understanding Deflation Process in Over-parametrized Tensor Decomposition

• arxiv url: http://arxiv.org/abs/2106.06573v1
• Date: Fri, 11 Jun 2021 18:51:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:28:40.367077
• Title: Understanding Deflation Process in Over-parametrized Tensor Decomposition
• Title（参考訳）: 過パラメータテンソル分解におけるデフレ過程の理解
• Authors: Rong Ge, Yunwei Ren, Xiang Wang, Mo Zhou
• Abstract要約: 過度にパラメータ化されたテンソル分解問題における勾配流のトレーニング力学について検討する。 経験的に、このようなトレーニングプロセスは、まず大きなコンポーネントに適合し、次に小さなコンポーネントを発見する。
• 参考スコア（独自算出の注目度）: 17.28303004783945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we study the training dynamics for gradient flow on over-parametrized tensor decomposition problems. Empirically, such training process often first fits larger components and then discovers smaller components, which is similar to a tensor deflation process that is commonly used in tensor decomposition algorithms. We prove that for orthogonally decomposable tensor, a slightly modified version of gradient flow would follow a tensor deflation process and recover all the tensor components. Our proof suggests that for orthogonal tensors, gradient flow dynamics works similarly as greedy low-rank learning in the matrix setting, which is a first step towards understanding the implicit regularization effect of over-parametrized models for low-rank tensors.
• Abstract（参考訳）: 本稿では,過パラメータテンソル分解問題に対する勾配流れのトレーニングダイナミクスについて検討する。 経験的に、そのようなトレーニングプロセスは、しばしばより大きなコンポーネントに適合し、次に、テンソル分解アルゴリズムで一般的に使用されるテンソルデフレレーションプロセスに似た、より小さなコンポーネントを発見する。 直交分解性テンソルの場合、勾配流のわずかに変形したバージョンはテンソルデフレプロセスに従い、すべてのテンソル成分を回復することが証明される。 この証明は、直交テンソルの場合、勾配フローダイナミクスは行列設定における欲欲な低ランク学習と同様に働き、これは低ランクテンソルに対する超パラメータモデルの暗黙的正規化効果を理解するための第一歩であることを示唆している。

関連論文リスト

• Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent [4.031100721019478]
  遅延学習体制を超えて過度にパラメータ化されたテンソル分解問題における暗黙正則化の厳密な解析を行う。 勾配流ではなく勾配降下の種別の最初のテンソル結果を証明する。
  論文  参考訳（メタデータ） (2024-10-21T17:52:01Z)
• Tensor cumulants for statistical inference on invariant distributions [49.80012009682584]
  我々は,PCAが信号の大きさの臨界値で計算的に困難になることを示す。 我々は、与えられた次数の不変量に対して明示的でほぼ直交的な基底を与える新しい対象の集合を定義する。 また、異なるアンサンブルを区別する新しい問題も分析できます。
  論文  参考訳（メタデータ） (2024-04-29T14:33:24Z)
• Mitigating Heterogeneity among Factor Tensors via Lie Group Manifolds for Tensor Decomposition Based Temporal Knowledge Graph Embedding [32.87000154536683]
  我々は、因子テンソルを統一滑らかなリー群多様体に写像し、因子テンソルの分布をテンソル分解において均一に近似させる新しい方法を提案する。 提案手法は, 余分なパラメータを導入することなく, 既存のテンソル分解に基づくTKGE法に直接統合することができる。
  論文  参考訳（メタデータ） (2024-04-14T06:10:46Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Scalable CP Decomposition for Tensor Learning using GPU Tensor Cores [47.87810316745786]
  本研究では,エクサスケールテンソル分解を支援する圧縮型テンソル分解フレームワークを提案する。 ベースラインと比較すると、エクスカスケール・テンソルは8000倍のテンソルをサポートし、スピードアップは6.95倍である。 また,本手法を遺伝子解析とテンソル層ニューラルネットワークを含む実世界の2つの応用に適用する。
  論文  参考訳（メタデータ） (2023-11-22T21:04:59Z)
• Provable Tensor Completion with Graph Information [49.08648842312456]
  本稿では,動的グラフ正規化テンソル完備問題の解法として,新しいモデル,理論,アルゴリズムを提案する。 我々はテンソルの低ランクおよび類似度構造を同時に捉える包括的モデルを開発する。 理論の観点からは、提案したグラフの滑らか度正規化と重み付きテンソル核ノルムとの整合性を示す。
  論文  参考訳（メタデータ） (2023-10-04T02:55:10Z)
• Decomposition of linear tensor transformations [0.0]
  本研究の目的は, 正確なテンソル分解のための数学的枠組みを開発することである。 論文では3つの異なる問題を導出する。
  論文  参考訳（メタデータ） (2023-09-14T16:14:38Z)
• Optimizing Orthogonalized Tensor Deflation via Random Tensor Theory [5.124256074746721]
  本稿では、ランダムノイズテンソルから相関成分を持つ低ランク信号テンソルを復元する問題に取り組む。 非直交成分はテンソルデフレレーション機構を変化させ、効率的に回復するのを防ぐことができる。 デフレレーション機構で導入されたパラメータを最適化することにより、効率的なテンソルデフレレーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-11T22:23:27Z)
• Error Analysis of Tensor-Train Cross Approximation [88.83467216606778]
  我々は, テンソル全体の精度保証を行う。 結果は数値実験により検証され、高次テンソルに対するクロス近似の有用性に重要な意味を持つ可能性がある。
  論文  参考訳（メタデータ） (2022-07-09T19:33:59Z)
• MTC: Multiresolution Tensor Completion from Partial and Coarse Observations [49.931849672492305]
  既存の完備化の定式化は、主に1つのテンソルからの部分的な観測に依存する。 この問題を解決するために,効率的なマルチレゾリューション・コンプリート・モデル(MTC)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T02:20:03Z)
• Alternating linear scheme in a Bayesian framework for low-rank tensor approximation [5.833272638548154]
  ベイズ推論問題を解くことにより、与えられたテンソルの低ランク表現を見つける。 本稿では,テンソルトレイン方式で無音変換を行うアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:15:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。