論文の概要: On the Loss Landscape Geometry of Regularized Deep Matrix Factorization: Uniqueness and Sharpness

• arxiv url: http://arxiv.org/abs/2603.27072v1
• Date: Sat, 28 Mar 2026 01:22:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:44.768927
• Title: On the Loss Landscape Geometry of Regularized Deep Matrix Factorization: Uniqueness and Sharpness
• Title（参考訳）: 正規化深度行列係数の損失景観幾何学:特異性とシャープ性
• Authors: Anil Kamber, Rahul Parhi,
• Abstract要約: ヘッセンスペクトルは正則化深部スカラー分解問題の最小値に一定であり、二乗誤差損失を持つ。 対象行列がルベーグ測度ゼロ集合に属さないなら、各層のフロベニウスノルムはすべての最小化子に対して一定である。
• 参考スコア（独自算出の注目度）: 5.736588561666141
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight decay is ubiquitous in training deep neural network architectures. Its empirical success is often attributed to capacity control; nonetheless, our theoretical understanding of its effect on the loss landscape and the set of minimizers remains limited. In this paper, we show that $\ell^2$-regularized deep matrix factorization/deep linear network training problems with squared-error loss admit a unique end-to-end minimizer for all target matrices subject to factorization, except for a set of Lebesgue measure zero formed by the depth and the regularization parameter. This observation reveals fundamental properties of the loss landscape of regularized deep matrix factorization problems: the Hessian spectrum is constant across all minimizers of the regularized deep scalar factorization problem with squared-error loss. Moreover, we show that, in regularized deep matrix factorization problems with squared-error loss, if the target matrix does not belong to the Lebesgue measure-zero set, then the Frobenius norm of each layer is constant across all minimizers. This, in turn, yields a global lower bound on the trace of the Hessian evaluated at any minimizer of the regularized deep matrix factorization problem. Furthermore, we establish a critical threshold for the regularization parameter above which the unique end-to-end minimizer collapses to zero.
• Abstract（参考訳）: 重崩壊は、ディープニューラルネットワークアーキテクチャのトレーニングにおいてユビキタスである。 その実証的な成功は、しばしばキャパシティコントロールによるものであるが、しかしながら、損失ランドスケープと最小限の集合に対する我々の理論的理解は限定的である。 本稿では,二乗誤差損失を伴い,$\ell^2$-regularized Deep matrix factorization/deep linear network training problems have a unique end-to-end minimalr for all target matrixs subject to factorization, except for a set of a set of Lebesgue measure zero formed by the depth and the regularization parameters。 この観測は、正則化深層行列因数分解問題の損失ランドスケープの基本的な性質を明らかにする: ヘッセンスペクトルは正則化深部スカラー因数分解問題のすべての最小値に一定である。 さらに、二乗誤差損失を伴う正規化深度行列分解問題において、ターゲット行列がルベーグ測度ゼロ集合に属さない場合、各層のフロベニウスノルムはすべての最小化子に対して一定であることを示す。 これは、正則化された深行列分解問題の任意の最小値で評価されたヘッセンのトレース上の大域的な下界を与える。 さらに、上述の正規化パラメータに対して、一意の終端最小値が0に崩壊する臨界しきい値を確立する。

関連論文リスト

• The Hidden Cost of Approximation in Online Mirror Descent [56.99972253009168]
  オンラインミラー降下(OMD)は、最適化、機械学習、シーケンシャルな意思決定において多くのアルゴリズムの基盤となる基本的なアルゴリズムパラダイムである。 本研究では,不正確なOMDに関する系統的研究を開始し,正規化器の滑らかさと近似誤差に対する頑健さとの複雑な関係を明らかにする。
  論文  参考訳（メタデータ） (2025-11-27T10:09:07Z)
• Sharpness of Minima in Deep Matrix Factorization: Exact Expressions [5.736588561666141]
  我々は,任意の最小値における二乗誤差損失のヘシアンに対する最初の正確な表現を示す。 本研究では,勾配学習中の脱走現象について検討した。
  論文  参考訳（メタデータ） (2025-09-30T04:50:28Z)
• Spectral Analysis of the Weighted Frobenius Objective [2.7857707184602165]
  反復解法を前提とした対称定値行列の近似のための重み付きフロベニウス損失の解析を行った。 解析の結果,各固有モードは対応する固有値の正方形によってスケールされ,固定誤差予算の下では,誤差が最大の固有値の方向に制限された場合にのみ損失が最小化されることがわかった。
  論文  参考訳（メタデータ） (2025-09-20T19:15:24Z)
• A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
  我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。 これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T01:52:09Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• The loss landscape of deep linear neural networks: a second-order analysis [9.85879905918703]
  正方形損失を伴う深部線形ニューラルネットワークの最適化環境について検討する。 我々は、すべての臨界点の中で、大域最小化点、厳格なサドル点、非制限サドル点を特徴づける。
  論文  参考訳（メタデータ） (2021-07-28T11:33:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。