論文の概要: Algorithmic Regularization in Tensor Optimization: Towards a Lifted
Approach in Matrix Sensing
- arxiv url: http://arxiv.org/abs/2310.15549v1
- Date: Tue, 24 Oct 2023 06:40:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 20:21:10.023509
- Title: Algorithmic Regularization in Tensor Optimization: Towards a Lifted
Approach in Matrix Sensing
- Title(参考訳): テンソル最適化におけるアルゴリズムの正則化:マトリックスセンシングの解法に向けて
- Authors: Ziye Ma, Javad Lavaei, Somayeh Sojoudi
- Abstract要約: 勾配降下(GD)は機械学習モデルの一般化に不可欠である。
我々はGDが暗黙の正規化を誘導し、コンパクト表現を促進することを示す。
以上の結果から, マトリックスセンシングのテンソルメトリーパラリゼーションの重要性が示唆された。
- 参考スコア(独自算出の注目度): 28.295987262533075
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gradient descent (GD) is crucial for generalization in machine learning
models, as it induces implicit regularization, promoting compact
representations. In this work, we examine the role of GD in inducing implicit
regularization for tensor optimization, particularly within the context of the
lifted matrix sensing framework. This framework has been recently proposed to
address the non-convex matrix sensing problem by transforming spurious
solutions into strict saddles when optimizing over symmetric, rank-1 tensors.
We show that, with sufficiently small initialization scale, GD applied to this
lifted problem results in approximate rank-1 tensors and critical points with
escape directions. Our findings underscore the significance of the tensor
parametrization of matrix sensing, in combination with first-order methods, in
achieving global optimality in such problems.
- Abstract(参考訳): 勾配降下(GD)は、暗黙の正規化を誘導し、コンパクト表現を促進するため、機械学習モデルの一般化に不可欠である。
本研究では, テンソル最適化のための暗黙的正則化誘導におけるgdの役割について検討する。
このフレームワークは、対称なランク1テンソルを最適化する際に、急激な解を厳密なサドルに変換することによって、非凸行列センシング問題に対処するために最近提案されている。
十分に小さな初期化スケールで、この昇降問題に適用されたGDは、近似階数1テンソルと逃避方向の臨界点を導出する。
本研究は, 行列センシングのテンソルパラメトリゼーションが一階法と組み合わせ, この問題における大域的最適性を達成する上で重要であることを裏付ける。
関連論文リスト
- The Inductive Bias of Flatness Regularization for Deep Matrix
Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。
測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文 参考訳(メタデータ) (2023-06-22T23:14:57Z) - Simplifying Momentum-based Positive-definite Submanifold Optimization
with Applications to Deep Learning [24.97120654216651]
部分多様体上の運動量を持つ難しい微分方程式の解法を示す。
我々はリーマン正規座標の一般化版を提案する。
我々は,行列乗算のみを用いることで,構造化共分散の既存手法を単純化し,低精度のディープラーニングのための行列非逆2textnd$ordersを開発する。
論文 参考訳(メタデータ) (2023-02-20T03:31:11Z) - Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives [1.7640556247739623]
ゼロ階エントロピー合成目的のためのアルゴリズムを解析し,次元依存性に着目した。
これは、ミラー降下法と推定類似関数を用いて、決定セットの低次元構造を利用して達成される。
勾配を改善するため、Rademacherに基づく古典的なサンプリング法を置き換え、ミニバッチ法が非ユークリ幾何学に対処することを示す。
論文 参考訳(メタデータ) (2022-08-09T07:36:25Z) - Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。
6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-05-21T01:47:17Z) - On the Efficient Implementation of the Matrix Exponentiated Gradient
Algorithm for Low-Rank Matrix Optimization [26.858608065417663]
スペクトル上の凸最適化は、機械学習、信号処理、統計学に重要な応用がある。
低ランク行列による最適化に適したMEGの効率的な実装を提案し、各イテレーションで単一の低ランクSVDのみを使用する。
また,本手法の正しい収束のための効率よく計算可能な証明書も提供する。
論文 参考訳(メタデータ) (2020-12-18T19:14:51Z) - Robust Low-rank Matrix Completion via an Alternating Manifold Proximal
Gradient Continuation Method [47.80060761046752]
ロバスト低ランク行列補完(RMC)は、コンピュータビジョン、信号処理、機械学習アプリケーションのために広く研究されている。
この問題は、部分的に観察された行列を低ランク行列とスパース行列の重ね合わせに分解することを目的とした。
RMCに取り組むために広く用いられるアプローチは、低ランク行列の核ノルム(低ランク性を促進するために)とスパース行列のl1ノルム(空間性を促進するために)を最小化する凸定式化を考えることである。
本稿では、近年のローワークの動機付けについて述べる。
論文 参考訳(メタデータ) (2020-08-18T04:46:22Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳(メタデータ) (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。