論文の概要: On the Benefits of Weight Normalization for Overparameterized Matrix Sensing

• arxiv url: http://arxiv.org/abs/2510.01175v1
• Date: Wed, 01 Oct 2025 17:56:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.715125
• Title: On the Benefits of Weight Normalization for Overparameterized Matrix Sensing
• Title（参考訳）: 過度パラメータ化マトリックスセンシングにおける重み正規化の有効性について
• Authors: Yudong Wei, Liang Zhang, Bingcong Li, Niao He,
• Abstract要約: 過大化行列センシング問題に適用した(一般化)重み正規化(WN)の利点を確立する。 線形反復収束を持つWNは、WNを使用しない標準手法よりも指数的な高速化を実現する。
• 参考スコア（独自算出の注目度）: 32.90061456124932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While normalization techniques are widely used in deep learning, their theoretical understanding remains relatively limited. In this work, we establish the benefits of (generalized) weight normalization (WN) applied to the overparameterized matrix sensing problem. We prove that WN with Riemannian optimization achieves linear convergence, yielding an exponential speedup over standard methods that do not use WN. Our analysis further demonstrates that both iteration and sample complexity improve polynomially as the level of overparameterization increases. To the best of our knowledge, this work provides the first characterization of how WN leverages overparameterization for faster convergence in matrix sensing.
• Abstract（参考訳）: 正規化技術はディープラーニングで広く使われているが、理論的な理解は依然として比較的限られている。 本研究では、過パラメータ化行列センシング問題に適用した(一般化)重み正規化(WN)の利点を確立する。 We prove that WN with Riemannian optimization achieve a linear convergence, yield a index speedup over standard method that does not use WN。 さらに, オーバーパラメータ化のレベルが増加するにつれて, 繰り返しとサンプルの複雑さが多項式的に向上することを示した。 我々の知る限りでは、この研究はWNが行列センシングにおける高速収束のために過パラメータ化をどのように活用するかを初めて特徴づけるものである。

関連論文リスト

• Inertial Quadratic Majorization Minimization with Application to Kernel Regularized Learning [1.0282274843007797]
  外部補間(QMME)フレームワークを導入し,その逐次収束特性を確立する。 実効性を示すために,大規模カーネル正規化学習問題にQMMEを適用した。
  論文  参考訳（メタデータ） (2025-07-06T05:17:28Z)
• Algorithmic Regularization in Tensor Optimization: Towards a Lifted Approach in Matrix Sensing [28.295987262533075]
  勾配降下(GD)は機械学習モデルの一般化に不可欠である。 我々はGDが暗黙の正規化を誘導し、コンパクト表現を促進することを示す。 以上の結果から, マトリックスセンシングのテンソルメトリーパラリゼーションの重要性が示唆された。
  論文  参考訳（メタデータ） (2023-10-24T06:40:26Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Adaptive Log-Euclidean Metrics for SPD Matrix Learning [73.12655932115881]
  広く使われているログユークリッド計量(LEM)を拡張した適応ログユークリッド計量(ALEM)を提案する。 実験および理論的結果から,SPDニューラルネットワークの性能向上における提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-03-26T18:31:52Z)
• Simplifying Momentum-based Positive-definite Submanifold Optimization with Applications to Deep Learning [24.97120654216651]
  部分多様体上の運動量を持つ難しい微分方程式の解法を示す。 我々はリーマン正規座標の一般化版を提案する。 我々は,行列乗算のみを用いることで,構造化共分散の既存手法を単純化し,低精度のディープラーニングのための行列非逆2textnd$ordersを開発する。
  論文  参考訳（メタデータ） (2023-02-20T03:31:11Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。