論文の概要: The Precision Wall: An Optimizer-Dependent Boundary for Optimization under Power-Law Measurement Spectra

• arxiv url: http://arxiv.org/abs/2610.40485v1
• Date: Thu, 29 Oct 2026 17:14:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.546124
• Title: The Precision Wall: An Optimizer-Dependent Boundary for Optimization under Power-Law Measurement Spectra
• Title（参考訳）: 精密壁:電力線計測スペクトルによる最適化のための最適化器依存境界
• Abstract要約: 低ランク行列による階数-D$係数$Uast in mathbbRV times D$のセンシングでは、等方的ガウス設計をパワー-ロー測度共分散$=mathrmdiag(j-s)_j=1V$に置き換える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In low-rank matrix sensing of a rank-$D$ factor $U^\ast \in \mathbb{R}^{V \times D}$, replacing isotropic Gaussian designs with power-law measurement covariance $Σ= \mathrm{diag}(j^{-s})_{j=1}^V$ leaves the Burer--Monteiro landscape free of spurious local minima, yet division-normalised first-order optimizers stall above a critical exponent $s^\ast$. We trace this failure to a numerical precision wall. At the ground truth, the smallest non-gauge expected Hessian eigenvalue scales at leading order as $V^{-(s+1)}D^{-s}$. When this curvature drops below the effective denominator floor $ε_O$ of optimizer $O$, normalisation noise overwhelms rare-direction gradients, yielding the leading-order boundary $s^\ast_O(V, D) = [\log(1/ε_O) - \log V]/\log(VD) + δ_O$, where $δ_O$ is a metric-dependent detection lag. With $δ_{\mathrm{Adam}}$ calibrated on four configurations and frozen, this formula predicts Adam's onset within $0.45$ across all 16 cells of a held-out grid ($V \in \{64,128,256,512\} \times D \in \{4,8,16,32\}$), separates fixed-$VD$ pairs, and distinguishes denominator-precision walls from conditioning and sign-quantisation walls. The approximation fails at $D = 2$, reflects a finite-$D$ spectral crossover, and saturates below $\varepsilon_0 = 10^{-8}$ at a dynamical floor.
• Abstract（参考訳）: ランク-$D$因子 $U^\ast \mathbb{R}^{V \times D}$ のローランク行列センシングでは、等方的ガウス設計をパワー-ロー測度共分散 $Σ= \mathrm{diag}(j^{-s})_{j=1}^V$ に置き換える。 私たちはこの失敗を数値的な精度の壁まで辿った。 実のところ、最小の非ゲージのヘッセン固有値スケールは、$V^{-(s+1)}D^{-s}$である。 この曲率をオプティマイザ$O$の有効分母フロア$ε_O$以下にすると、正規化ノイズは希少方向勾配を圧倒し、前階境界$s^\ast_O(V, D) = [\log(1/ε_O) - \log V]/\log(VD) + δ_O$となる。 4つの構成で校正され凍結された$δ_{\mathrm{Adam}}$で、この公式はホールドアウトグリッドの全16セル(V \in \{64,128,256,512\} \times D \in \{4,8,16,32\}$)でアダムのオンセットを0.45ドル以内で予測し、固定$VD$ペアを分離し、ディノミネーター精度の壁を条件付けや符号量子化の壁と区別する。 近似は$D = 2$で失敗し、有限$D$スペクトルクロスオーバーを反映し、動的フロアで$\varepsilon_0 = 10^{-8} 以下に飽和する。

関連論文リスト

• Theoretical Study on the Evidential Learning-based Variational Autoencoder [7.5571037918649155]
  逆正準割当 $1/_rm can$ は明らかに$T$ の増大関数である。 一般的なキャリブレーションの下でのランクのみの使用の場合、$T$は同じ座標の順序情報を含む。
  論文  参考訳（メタデータ） (2026-08-19T21:51:16Z)
• Scaling Limits of Constant-Stepsize SGD at Flat Minima [5.608222858044445]
  契約駆動チェーンが生成するマルコフ雑音について検討する。 定段数$$の勾配降下(SGD)に対して、最小値を中心とする反復法の不変法則は、長い時間的地平線上でのアルゴリズムの振舞いを記述する。 この振舞いは、平坦なミニマと(部分)四角形尾を持つ凸対象に対して根本的に変化することを示す。
  論文  参考訳（メタデータ） (2026-07-17T17:22:46Z)
• Sparse Max-Affine Regression [8.338559499737135]
  本稿では,凸片方向線形回帰における変数選択の解としてスパース勾配を提案する。 準ガウス雑音下でのSp-GDの非漸近局所収束解析を行う。 スパース一般化をスパースマックスアフィンモデルに変換するために、Real Maslov Dequantization (RMD) と呼ばれる新しい変換を提案する。
  論文  参考訳（メタデータ） (2024-11-04T16:19:09Z)
• On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
  本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。 我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。 収束率は$frac1Tsum_k=1Tと類似していると考えられる。
  論文  参考訳（メタデータ） (2024-02-01T07:21:32Z)
• Structure Learning in Graphical Models from Indirect Observations [17.521712510832558]
  本稿では、パラメータ法と非パラメトリック法の両方を用いて、Rp$における$p$次元ランダムベクトル$Xのグラフィカル構造を学習する。 温和な条件下では、グラフ構造推定器が正しい構造を得ることができることを示す。
  論文  参考訳（メタデータ） (2022-05-06T19:24:44Z)
• Minimax Optimal Regression over Sobolev Spaces via Laplacian Regularization on Neighborhood Graphs [25.597646488273558]
  非パラメトリック回帰に対するグラフに基づくアプローチであるラプラシア平滑化の統計的性質について検討する。 ラプラシアン滑らか化が多様体適応であることを証明する。
  論文  参考訳（メタデータ） (2021-06-03T01:20:41Z)
• Sparse sketches with small inversion bias [79.77110958547695]
  逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。 本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。 スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
  論文  参考訳（メタデータ） (2020-11-21T01:33:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。