論文の概要: Gradient flow on extensive-rank positive semi-definite matrix denoising
- arxiv url: http://arxiv.org/abs/2303.09474v1
- Date: Thu, 16 Mar 2023 16:50:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-17 14:35:34.566792
- Title: Gradient flow on extensive-rank positive semi-definite matrix denoising
- Title（参考訳）: 広ランク正半定値行列のグラディエントフロー
- Authors: Antoine Bodin and Nicolas Macris
- Abstract要約: 本研究では,広範かつ高次元の条件下での正半定値行列デノナイジング問題に対する勾配流の解析を行うための新しい手法を提案する。
問題の行列平均二乗誤差の完全時間進化を追跡する固定点方程式を導出する。
得られた定点方程式の予測は数値実験により検証される。
- 参考スコア（独自算出の注目度）: 15.720219436063797
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we present a new approach to analyze the gradient flow for a
positive semi-definite matrix denoising problem in an extensive-rank and
high-dimensional regime. We use recent linear pencil techniques of random
matrix theory to derive fixed point equations which track the complete time
evolution of the matrix-mean-square-error of the problem. The predictions of
the resulting fixed point equations are validated by numerical experiments. In
this short note we briefly illustrate a few predictions of our formalism by way
of examples, and in particular we uncover continuous phase transitions in the
extensive-rank and high-dimensional regime, which connect to the classical
phase transitions of the low-rank problem in the appropriate limit. The
formalism has much wider applicability than shown in this communication.
- Abstract（参考訳）: 本研究では,多階高次元環境における正の半定値行列除算問題に対する勾配流解析のための新しい手法を提案する。
我々は、確率行列理論の最近の線形鉛筆手法を用いて、問題の行列平均二乗誤差の完全時間進化を追跡する固定点方程式を導出する。
得られた定点方程式の予測は数値実験により検証される。
ここでは、例によって形式主義のいくつかの予測を簡潔に説明し、特に、適切な極限における低ランク問題の古典的な相転移に結びつく広範かつ高次元の体制における連続的な相転移を明らかにする。
形式主義は、このコミュニケーションで示されるよりもずっと広い適用性を持っている。
関連論文リスト
- Understanding Incremental Learning of Gradient Descent: A Fine-grained
Analysis of Matrix Sensing [74.2952487120137]
GD(Gradient Descent)は、機械学習モデルにおいて、良い一般化に対する暗黙のバイアスをもたらすと考えられている。
本稿では,行列センシング問題に対するGDのダイナミクスを詳細に解析する。
論文 参考訳（メタデータ） (2023-01-27T02:30:51Z) - Stochastic Langevin Differential Inclusions with Applications to Machine
Learning [8.669338893753885]
機械学習問題におけるLangevin型の流れと特性に関する基礎的な結果を示す。
特に, 自由エネルギー関数の最小化とともに, 解の強い存在を示す。
論文 参考訳（メタデータ） (2022-06-23T08:29:17Z) - Stochastic Gradient Methods with Preconditioned Updates [55.69352761176367]
このような問題に対する既存のアルゴリズムは、問題のスケールが悪く、あるいは条件が不適切である場合、しばしばうまく機能しない。
ここでは、ヘッセン曲率の対角線を近似する2つのSARアプローチに基づくプレコンディショナーを含む。
理論的複雑性保証が提示され、滑らかさとPL条件の両方を仮定すると収束が証明される。
論文 参考訳（メタデータ） (2022-06-01T07:38:08Z) - The Neural Network shifted-Proper Orthogonal Decomposition: a Machine
Learning Approach for Non-linear Reduction of Hyperbolic Equations [0.0]
本研究では,統計的学習フレームワークにおいて,正しい前処理変換を自動的に検出する問題にアプローチする。
純粋にデータ駆動方式により、線形部分空間操作の既存のアプローチを未知の対流場を持つ非線形双曲問題に一般化することができる。
提案アルゴリズムは、その性能をベンチマークするために単純なテストケースに対して検証され、その後、多相シミュレーションに成功している。
論文 参考訳（メタデータ） (2021-08-14T15:13:35Z) - Lifting the Convex Conjugate in Lagrangian Relaxations: A Tractable
Approach for Continuous Markov Random Fields [53.31927549039624]
断片的な離散化は既存の離散化問題と矛盾しないことを示す。
この理論を2つの画像のマッチング問題に適用する。
論文 参考訳（メタデータ） (2021-07-13T12:31:06Z) - Small random initialization is akin to spectral learning: Optimization
and generalization guarantees for overparameterized low-rank matrix
reconstruction [35.585697639325105]
本稿では,小さなランダム初期化が完全には理解されていないことを示す。
我々は、小さな乱数行列から勾配を再構成し、低い乱数行列から最適勾配に類似した解を求める。
論文 参考訳（メタデータ） (2021-06-28T22:52:39Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Deep learning: a statistical viewpoint [120.94133818355645]
ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。
特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。
我々はこれらの現象を具体的原理で補うと推測する。
論文 参考訳（メタデータ） (2021-03-16T16:26:36Z) - Optimal Sample Complexity of Subgradient Descent for Amplitude Flow via
Non-Lipschitz Matrix Concentration [12.989855325491163]
我々は、実数値の$n$次元信号を、位相のない線形測定値から復元する問題を考察する。
ランダムな不連続行列値演算子の均一な濃度に基づいて, 最適なサンプル複雑性を持つ下降勾配の局所収束を確立する。
論文 参考訳（メタデータ） (2020-10-31T15:03:30Z) - A spectral algorithm for robust regression with subgaussian rates [0.0]
本研究では, 試料の分布に強い仮定がない場合の線形回帰に対する2次時間に対する新しい線形アルゴリズムについて検討する。
目的は、データが有限モーメントしか持たなくても最適な準ガウス誤差を達成できる手順を設計することである。
論文 参考訳（メタデータ） (2020-07-12T19:33:50Z) - Conditional gradient methods for stochastically constrained convex
minimization [54.53786593679331]
構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。
私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。
提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
論文 参考訳（メタデータ） (2020-07-07T21:26:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。