論文の概要: Asymptotic Normality of Generalized Low-Rank Matrix Sensing via Riemannian Geometry

• arxiv url: http://arxiv.org/abs/2407.10238v2
• Date: Thu, 13 Feb 2025 18:22:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:46:26.031016
• Title: Asymptotic Normality of Generalized Low-Rank Matrix Sensing via Riemannian Geometry
• Title（参考訳）: リーマン幾何学による一般化低ランクマトリックスセンシングの漸近正規性
• Authors: Osbert Bastani,
• Abstract要約: 一般化された低ランク行列センシングの正規性を保証する。 低ランク行列の多様体を$barthetabarthetatop$でパラメータ化する。 sqrtn(phi0-phi*)xrightarrowDN(0,(H*)-1)$ as $ntoinfty$, where $phi0$ and $phi*$ is representations of $bartheta*$ and $barthe
• 参考スコア（独自算出の注目度）: 37.53442095760427
• License:
• Abstract: We prove an asymptotic normality guarantee for generalized low-rank matrix sensing -- i.e., matrix sensing under a general convex loss $\bar\ell(\langle X,M\rangle,y^*)$, where $M\in\mathbb{R}^{d\times d}$ is the unknown rank-$k$ matrix, $X$ is a measurement matrix, and $y^*$ is the corresponding measurement. Our analysis relies on tools from Riemannian geometry to handle degeneracy of the Hessian of the loss due to rotational symmetry in the parameter space. In particular, we parameterize the manifold of low-rank matrices by $\bar\theta\bar\theta^\top$, where $\bar\theta\in\mathbb{R}^{d\times k}$. Then, assuming the minimizer of the empirical loss $\bar\theta^0\in\mathbb{R}^{d\times k}$ is in a constant size ball around the true parameters $\bar\theta^*$, we prove $\sqrt{n}(\phi^0-\phi^*)\xrightarrow{D}N(0,(H^*)^{-1})$ as $n\to\infty$, where $\phi^0$ and $\phi^*$ are representations of $\bar\theta^*$ and $\bar\theta^0$ in the horizontal space of the Riemannian quotient manifold $\mathbb{R}^{d\times k}/\text{O}(k)$, and $H^*$ is the Hessian of the true loss in the same representation.
• Abstract（参考訳）: 例えば、一般凸損失$\bar\ell(\langle X,M\rangle,y^*)$, ここで、$M\in\mathbb{R}^{d\times d}$は未知ランクのk$行列、$X$は測度行列、$y^*$は対応する測定値である。 我々の解析は、パラメータ空間の回転対称性による損失のHessianの退化を扱うためのリーマン幾何学のツールに依存している。 特に、低ランク行列の多様体を $\bar\theta\bar\theta^\top$ でパラメタ化する(ここで $\bar\theta\in\mathbb{R}^{d\times k}$)。 すると、経験的損失の最小値 $\bar\theta^0\in\mathbb{R}^{d\times k}$ が真のパラメータ $\bar\theta^*$ の周りの一定の大きさの球内にあると仮定すると、$\sqrt{n}(\phi^0-\phi^*)\xrightarrow{D}N(0,(H^*)^{-1})$ as $n\to\infty$, ここで $\phi^0$ と $\phi^*$ は、リーマン商多様体の水平空間における $\bar\theta^*$ と $\bar\theta^0$ の表現である。

関連論文リスト

• Convergence of Gradient Descent with Small Initialization for Unregularized Matrix Completion [21.846732043706318]
  バニラ勾配降下は、明示的な正則化を必要とせず、必ず基底真理$rmXstar$に収束することを示す。 驚くべきことに、収束率も最終的な精度もオーバーパラメータ化された検索ランク$r'$に依存しておらず、それらは真のランク$r$によってのみ支配される。
  論文  参考訳（メタデータ） (2024-02-09T19:39:23Z)
• The Sample Complexity Of ERMs In Stochastic Convex Optimization [13.896417716930687]
  実際に$tildeO(fracdepsilon+frac1epsilon2)$データポイントも十分であることを示す。 さらに、この結果を一般化し、全ての凸体に対して同様の上界が成り立つことを示す。
  論文  参考訳（メタデータ） (2023-11-09T14:29:25Z)
• How Over-Parameterization Slows Down Gradient Descent in Matrix Sensing: The Curses of Symmetry and Initialization [46.55524654398093]
  過パラメータ化が降下の収束挙動をどのように変化させるかを示す。 目的は、ほぼ等方的線形測定から未知の低ランクの地上構造行列を復元することである。 本稿では,GDの一段階だけを修飾し,$alpha$に依存しない収束率を求める手法を提案する。
  論文  参考訳（メタデータ） (2023-10-03T03:34:22Z)
• Mirror Natural Evolution Strategies [10.495496415022064]
  我々は、ゼロ階探索で近似された一階情報と二階情報の両方を利用するゼロ階最適化理論に焦点をあてる。 我々は、textttMiNES の推定共分散行列が、目的関数のヘッセン行列の逆行列に収束することを示す。
  論文  参考訳（メタデータ） (2023-08-01T11:45:24Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Random matrices in service of ML footprint: ternary random features with no performance loss [55.30329197651178]
  我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。 提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
  論文  参考訳（メタデータ） (2021-10-05T09:33:49Z)
• Spectral properties of sample covariance matrices arising from random matrices with independent non identically distributed columns [50.053491972003656]
  関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$. ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
  論文  参考訳（メタデータ） (2021-09-06T14:21:43Z)
• Optimal Measurement of Field Properties with Quantum Sensor Networks [0.0]
  量子センサネットワークをフィールド$f(vecx;vectheta)$に結合し、パラメータ$vectheta$のベクトルによって解析的にパラメータ化する。 これらのパラメータの任意の解析関数 $q(vectheta)$ の精度で飽和境界を導出する。
  論文  参考訳（メタデータ） (2020-11-02T19:02:28Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。