論文の概要: Rank-one matrix estimation: analytic time evolution of gradient descent dynamics

• arxiv url: http://arxiv.org/abs/2105.12257v1
• Date: Tue, 25 May 2021 23:31:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-27 13:35:47.151724
• Title: Rank-one matrix estimation: analytic time evolution of gradient descent dynamics
• Title（参考訳）: rank-one行列推定:勾配降下ダイナミクスの解析時間発展
• Authors: Antoine Bodin, Nicolas Macris
• Abstract要約: 我々は、付加雑音によって劣化したランク1対称行列を考える。 推定器と未知ベクトルの重なり合いの時間的進化の明示的な公式とコストは厳密に導出される。
• 参考スコア（独自算出の注目度）: 16.067228939231047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a rank-one symmetric matrix corrupted by additive noise. The rank-one matrix is formed by an $n$-component unknown vector on the sphere of radius $\sqrt{n}$, and we consider the problem of estimating this vector from the corrupted matrix in the high dimensional limit of $n$ large, by gradient descent for a quadratic cost function on the sphere. Explicit formulas for the whole time evolution of the overlap between the estimator and unknown vector, as well as the cost, are rigorously derived. In the long time limit we recover the well known spectral phase transition, as a function of the signal-to-noise ratio. The explicit formulas also allow to point out interesting transient features of the time evolution. Our analysis technique is based on recent progress in random matrix theory and uses local versions of the semi-circle law.
• Abstract（参考訳）: 階数 1 の対称行列は付加雑音によって崩壊すると考えられる。 ランク 1 行列は半径 $\sqrt{n}$ の球面上の $n$-component 未知ベクトルによって構成され、球面上の二次コスト関数の勾配降下により、高次元の極限 n$ の破れた行列からこのベクトルを推定する問題を考える。 推定器と未知ベクトルの重なり合いの時間的進化の明示的な公式とコストは厳密に導出される。 長い時間領域では、信号対雑音比の関数としてよく知られたスペクトル相転移を回復する。 明示的な公式は、時間進化の興味深い過渡的な特徴を指摘することもできる。 解析手法はランダム行列理論の最近の進歩に基づき,半円法則の局所バージョンを用いる。

関連論文リスト

• Asymmetric matrix sensing by gradient descent with small random initialization [0.8611782340880084]
  いくつかの線形測定値から低ランク行列を再構成する問題について検討する。 私たちの重要な貢献は、$texted gradient flow$と呼ぶ連続的な勾配流方程式の導入です。
  論文  参考訳（メタデータ） (2023-09-04T20:23:35Z)
• Re-Analyze Gauss: Bounds for Private Matrix Approximation via Dyson Brownian Motion [28.431572772564518]
  対称行列 $M$ とベクトル $lambda$ が与えられたとき、行列によって$M$ を近似するガウス機構のフロベニウス距離ユーティリティ上の新しい境界を示す。 私たちのバウンダリは、$lambda$と$M$の固有値のギャップの両方に依存します。
  論文  参考訳（メタデータ） (2022-11-11T18:54:01Z)
• On the well-spread property and its relation to linear regression [4.619541348328937]
  頑健な線形回帰モデルにおけるパラメータベクトルの一貫した回復は情報理論上不可能であることを示す。 与えられた$n$-by-d$行列が、周囲の次元で観測回数が二次的である場合、適切に証明できることが示される。
  論文  参考訳（メタデータ） (2022-06-16T11:17:44Z)
• An Equivalence Principle for the Spectrum of Random Inner-Product Kernel Matrices with Polynomial Scalings [21.727073594338297]
  この研究は、機械学習と統計学の応用によって動機付けられている。 スケーリングシステムにおいて,これらのランダム行列の経験的分布の弱い限界を確立する。 我々の結果は、マルテンコ・パストゥル法と半円法の間の自由加法的畳み込みとして特徴づけられる。
  論文  参考訳（メタデータ） (2022-05-12T18:50:21Z)
• Leverage Score Sampling for Tensor Product Matrices in Input Sparsity Time [54.65688986250061]
  我々は,$q$-foldカラムワイドテンソル積の$q$行列に対応するグラム行列を近似するための入力空間時間サンプリングアルゴリズムを提案する。 我々のサンプリング技術は、合計時間でデータセット$X$に同時に適用できる$q$部分相関ランダムプロジェクションのコレクションに依存している。
  論文  参考訳（メタデータ） (2022-02-09T15:26:03Z)
• When Random Tensors meet Random Matrices [50.568841545067144]
  本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。 検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
  論文  参考訳（メタデータ） (2021-12-23T04:05:01Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• High-Dimensional Gaussian Process Inference with Derivatives [90.8033626920884]
  低データ状態の$ND$では、Gram行列は$mathcalO(N2D + (N2)3)$に推論のコストを下げる方法で分解できることを示す。 最適化や予測勾配を持つハミルトニアンモンテカルロなど、機械学習に関連する様々なタスクでこの可能性を実証する。
  論文  参考訳（メタデータ） (2021-02-15T13:24:41Z)
• Quantum algorithms for spectral sums [50.045011844765185]
  正半定値行列(PSD)のスペクトル和を推定するための新しい量子アルゴリズムを提案する。 本稿では, スペクトルグラフ理論における3つの問題に対して, アルゴリズムと手法が適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-12T16:29:45Z)
• Asymptotic errors for convex penalized linear regression beyond Gaussian matrices [23.15629681360836]
  雑音線形観測から係数ベクトル$x_0$ in$RN$を学習する問題を考察する。 平均二乗誤差に対する明示的な式を厳密に導出する。 我々の予測は、非常に適度なサイズであっても、数値と非常によく一致していることを示す。
  論文  参考訳（メタデータ） (2020-02-11T13:43:32Z)
• Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform [64.90148466525754]
  最小二乗問題に対する反復スケッチの性能について検討する。 本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。 これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
  論文  参考訳（メタデータ） (2020-02-03T16:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。