論文の概要: Implicit Regularization in Matrix Sensing via Mirror Descent
- arxiv url: http://arxiv.org/abs/2105.13831v1
- Date: Fri, 28 May 2021 13:46:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-31 13:50:17.365737
- Title: Implicit Regularization in Matrix Sensing via Mirror Descent
- Title（参考訳）: ミラー降下によるマトリクスセンシングにおける暗黙的正則化
- Authors: Fan Wu and Patrick Rebeschini
- Abstract要約: 本研究では,行列検出における非正規化経験的リスクに対する離散時間ミラー降下法について検討した。
フルランク分解パラメトリゼーションによる勾配降下はミラー降下の1次近似であることを示す。
- 参考スコア（独自算出の注目度）: 29.206451882562867
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study discrete-time mirror descent applied to the unregularized empirical
risk in matrix sensing. In both the general case of rectangular matrices and
the particular case of positive semidefinite matrices, a simple potential-based
analysis in terms of the Bregman divergence allows us to establish convergence
of mirror descent -- with different choices of the mirror maps -- to a matrix
that, among all global minimizers of the empirical risk, minimizes a quantity
explicitly related to the nuclear norm, the Frobenius norm, and the von Neumann
entropy. In both cases, this characterization implies that mirror descent, a
first-order algorithm minimizing the unregularized empirical risk, recovers
low-rank matrices under the same set of assumptions that are sufficient to
guarantee recovery for nuclear-norm minimization. When the sensing matrices are
symmetric and commute, we show that gradient descent with full-rank factorized
parametrization is a first-order approximation to mirror descent, in which case
we obtain an explicit characterization of the implicit bias of gradient flow as
a by-product.
- Abstract（参考訳）: 離散時間ミラー降下法を行列センシングにおける非正規化経験的リスクに適用する。
長方形行列の一般の場合と正の半定義行列の特定の場合の両方において、ブレグマンの発散の観点からの単純なポテンシャルに基づく解析により、ミラー降下の収束(鏡写像の異なる選択)を、経験的リスクのすべての大域的最小値のうち核ノルム、フロベニウスノルム、フォン・ノイマンエントロピーに明示的に関係している量を最小化する行列へと確立することができる。
どちらの場合も、この特徴は、非正規化された経験的リスクを最小化する1次アルゴリズムであるミラー降下が、核-ノルム最小化の回復を保証するのに十分な仮定のセットで低ランク行列を回復することを意味する。
知覚行列が対称かつ可換である場合、フルランク分解パラメトリゼーションを持つ勾配降下はミラー降下に対する一階近似であり、その場合勾配流の暗黙的バイアスを副生成物として明示的に特徴づける。
関連論文リスト
- Guarantees of a Preconditioned Subgradient Algorithm for Overparameterized Asymmetric Low-rank Matrix Recovery [8.722715843502321]
本研究では, 行列分解に基づくロバストな低ランクおよび非対称な行列復元手法に着目した。
本稿では,探索行列の条件数に依存しない事前条件付きアルゴリズムの利点を継承する段階的アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-22T08:58:44Z) - Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。
重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。
我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
論文 参考訳（メタデータ） (2024-05-23T12:26:25Z) - Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation [49.67011673289242]
本稿では, 推定パラメータが滑らかな多様体内にある推定問題に対して, 新たな性能境界を提案する。
これはパラメータ多様体の幾何学と推定誤差測度の本質的な概念を誘導する。
論文 参考訳（メタデータ） (2023-11-08T15:17:13Z) - The Inductive Bias of Flatness Regularization for Deep Matrix
Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。
測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文 参考訳（メタデータ） (2023-06-22T23:14:57Z) - Beyond Procrustes: Balancing-Free Gradient Descent for Asymmetric
Low-Rank Matrix Sensing [36.96922859748537]
低ランク行列推定は、科学と工学のさまざまなアプリケーションで中心的な役割を果たします。
既存のアプローチは、2つの行列因子のスケールのバランスをとるために計量正規化項を加えることに頼っている。
本論文では,低ランク行列の線形測定値の少ない値から回復する性能の理論的正当化について述べる。
論文 参考訳（メタデータ） (2021-01-13T15:03:52Z) - A Continuous-Time Mirror Descent Approach to Sparse Phase Retrieval [24.17778927729799]
スパース位相探索に適用した連続時間ミラーを解析する。
これは、測定のみの集合からスパース信号を復元する問題である。
この問題に対して収束解析アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-20T10:03:44Z) - Robust Low-rank Matrix Completion via an Alternating Manifold Proximal
Gradient Continuation Method [47.80060761046752]
ロバスト低ランク行列補完(RMC)は、コンピュータビジョン、信号処理、機械学習アプリケーションのために広く研究されている。
この問題は、部分的に観察された行列を低ランク行列とスパース行列の重ね合わせに分解することを目的とした。
RMCに取り組むために広く用いられるアプローチは、低ランク行列の核ノルム(低ランク性を促進するために)とスパース行列のl1ノルム(空間性を促進するために)を最小化する凸定式化を考えることである。
本稿では、近年のローワークの動機付けについて述べる。
論文 参考訳（メタデータ） (2020-08-18T04:46:22Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - The Statistical Complexity of Early-Stopped Mirror Descent [27.393821783237186]
早期停止ミラー降下アルゴリズムにより達成される過剰リスクの統計的保証について検討する。
正方形損失の凸性を特徴づける不等式を完遂することにより、オフセットラデマッハ複素数とミラー降下法のポテンシャルベース収束解析との内在的リンクを同定する。
論文 参考訳（メタデータ） (2020-02-01T11:05:08Z) - Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion [101.83262280224729]
我々は、原子核ノルム正規化行列補完に対する相対誤差を開発する。
未知行列の最適低ランク近似を回復するための相対上界を導出する。
論文 参考訳（メタデータ） (2015-04-26T13:12:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。