論文の概要: Stochastic Rounding Increases Small Singular Values

• arxiv url: http://arxiv.org/abs/2606.00312v1
• Date: Fri, 29 May 2026 19:36:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.277188
• Title: Stochastic Rounding Increases Small Singular Values
• Title（参考訳）: 確率的ラウンドリングは小さな特異値を増加させる
• Abstract要約: SRの正規化効果は極端アスペクト比に制限されないことを示す。 SR は最小の特異値のみを正則化するのではなく、スペクトルの尾部において特異値の集合全体を持ち上げることを実証する。
• 参考スコア（独自算出の注目度）: 4.552343705926362
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over the past half-dozen years, stochastic rounding (SR) has regained significant attention as a quantization scheme for low-precision floating-point arithmetic, with applications spanning numerical analysis and modern machine learning systems. Recent work has shown that SR acts as an implicit regularizer by increasing the smallest singular value of extremely tall-and-thin (or, symmetrically, short-and-fat) matrices. In this work, we substantially sharpen and extend this understanding in two directions. First, we show that the regularization effect of SR is not restricted to extreme aspect ratio regimes: it persists for matrices with constant aspect ratio. Second, we demonstrate that SR does not merely regularize the smallest singular value, but instead lifts entire clusters of singular values at the tail of the spectrum. Together, these results provide a more general characterization of stochastic rounding as a spectral regularizer, revealing that its effects extend beyond extremal aspect ratios and act on a broader portion of the singular value spectrum.
• Abstract（参考訳）: 過去半年にわたって、確率的ラウンドリング(SR)は、数値解析や現代の機械学習システムにまたがる、低精度浮動小数点演算の量子化スキームとして、大きな注目を集めてきた。 近年の研究では、SRは極端に高い(あるいは対称的に、短と脂肪の)行列の最小特異値を増やすことで暗黙の正則化器として機能することが示されている。 本研究は,この理解を2つの方向に大幅に深め,拡張するものである。 まず、SRの正規化効果は極端アスペクト比に制限されないことを示し、定数アスペクト比を持つ行列に対して持続する。 第二に、SRは単に最小の特異値だけを正規化するのではなく、スペクトルの尾にある特異値の集合全体を持ち上げることを示した。 これらの結果は、スペクトル正則化器としての確率的丸めのより一般的な特徴を与え、その効果が極端アスペクト比を超えて、特異値スペクトルのより広い部分に作用することを明らかにする。

関連論文リスト

• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Uniform Spectral Growth and Convergence of Muon in LoRA-Style Matrix Factorization [24.166134750040484]
  低ランク適応 (LoRA) 条件下では, ムオンの下で特異なスペクトル現象がみられた。 簡易なLORA式行列分解設定において、スペクトル勾配流(SpecGF)をSpecGD-の連続的なアナログとして解析する。
  論文  参考訳（メタデータ） (2026-02-06T04:47:06Z)
• Dispelling the Curse of Singularities in Neural Network Optimizations [22.05217959662069]
  勾配フロベニウスノルムは重み行列の最高特異値によって有界であることを示し、訓練が進むにつれて、重みと表現特異点の相互に強化され、これらの境界を緩和し、鋭い損失爆発のリスクをエスカレートする。 これに対応するために,軽量でフレキシブルで効果的な重み行列の特異スペクトル平滑化法であるParametric Singularity Smoothing (PSS)を提案する。
  論文  参考訳（メタデータ） (2026-02-01T16:09:06Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Spectral Feature Augmentation for Graph Contrastive Learning and Beyond [64.78221638149276]
  グラフ(および画像)におけるコントラスト学習のための新しいスペクトル特徴論法を提案する。 各データビューに対して,特徴写像毎の低ランク近似を推定し,その近似を地図から抽出して補数を求める。 これは、2つの価値ある副産物(単に1つまたは2つのイテレーション)を楽しむ非標準パワーレジームである、ここで提案された不完全パワーイテレーションによって達成される。 グラフ/画像データセットの実験では、スペクトルフィーチャの増大がベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-02T08:48:11Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• Nonasymptotic theory for two-layer neural networks: Beyond the bias-variance trade-off [10.182922771556742]
  本稿では,ReLUアクティベーション機能を持つ2層ニューラルネットワークに対する漸近的一般化理論を提案する。 過度にパラメータ化されたランダムな特徴モデルは次元性の呪いに悩まされ、従って準最適であることを示す。
  論文  参考訳（メタデータ） (2021-06-09T03:52:18Z)
• Sharp Global Guarantees for Nonconvex Low-rank Recovery in the Noisy Overparameterized Regime [10.787390511207683]
  本稿では,従来の競合する2つのアプローチを統一し,単純化し,強化する新しい証明手法を提案する。 近2次点が,より高価な凸法と同じミニマックス回復限界を達成することを示す。
  論文  参考訳（メタデータ） (2021-04-21T23:07:18Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。