論文の概要: Over-parameterization Is Neither Robust nor Fragile in Matrix Sensing: A Geometric Theory of Solution Robustness

• arxiv url: http://arxiv.org/abs/2610.18318v1
• Date: Tue, 13 Oct 2026 13:00:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:23:23.200873
• Title: Over-parameterization Is Neither Robust nor Fragile in Matrix Sensing: A Geometric Theory of Solution Robustness
• Title（参考訳）: マトリックスセンシングにおける過パラメータ化はロバストでもフラジオールでもない:解のロバスト性に関する幾何学的理論
• Abstract要約: 我々は、k k がランク r_star を超えるとき、ブルア・モンティロ分解の階数認識理論を開発する。 スペクトルバランスを利用して、より感度の低い解を操るスペクトル認識アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 5.1765370940977355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over-parameterization is ubiquitous in modern machine learning, yet its effect on robustness remains poorly understood. We study this question in matrix sensing, a canonical non-convex problem that can also be viewed, under an appropriate parameterization, as training a two-layer quadratic neural network. We develop a rank-aware robustness theory for the Burer-Monteiro factorization when the search rank k may exceed the target rank r_star, thereby capturing over-parameterization. Our analysis shows that robustness depends jointly on the degree of over-parameterization and the local geometry of the attained second-order stationary point: increasing k generally worsens sensitivity, but stationary points with the same search rank can exhibit substantially different robustness. Motivated by this observation, we propose a trajectory-aware algorithm that uses spectral balancing and randomized sketching to steer optimization toward less sensitive solutions. In matrix-sensing experiments, the method reduces paired sensitivity by 18-29 percent for isotropic operators and 87-89 percent for weak-tail operators, without degrading reconstruction accuracy. These results demonstrate that parameter count alone does not determine robustness and identify solution geometry and the optimization trajectory as important levers for improving it.
• Abstract（参考訳）: オーバーパラメータ化は現代の機械学習では至るところで行われているが、ロバスト性に対する影響はいまだによく分かっていない。 本研究では, 2層2層ニューラルネットワークのトレーニングとして, パラメータ化を適切に行うことにより, 正準非凸問題である行列センシングについて検討する。 我々は、探索ランク k が目標ランク r_star を超える場合、ブルア・モンティロ因子化のランク認識ロバストネス理論を開発し、過パラメータ化を捉える。 解析の結果、ロバスト性は過パラメータ化の度合いと到達した2階定常点の局所的幾何に依存することが明らかとなった: k の増加は一般的に感度を悪化させるが、同じ探索ランクの定常点は、かなり異なるロバスト性を示す。 そこで本研究では,スペクトル分散とランダムスケッチを用いたトラジェクトリ認識アルゴリズムを提案する。 マトリックスセンシング実験では、リコンストラクション精度を低下させることなく、等方性演算子に対して18-29パーセント、弱尾演算子に対して87-89パーセントのペア感度を減少させる。 これらの結果から, パラメータ数だけではロバスト性は決定されず, 解の幾何と最適化軌跡を改良のための重要なレバーとして同定できることが示唆された。

関連論文リスト

• Fitting Unknown Number of Hyperplanes with Manifold Optimization [57.48093263119306]
  未知数の線形平面をデータに適合させることは、機械学習の根本的な課題である。 既存のアプローチはしばしば最適な最適化に苦しむか、幾何的整合性に欠ける。
  論文  参考訳（メタデータ） (2026-05-27T14:02:20Z)
• Majorization-Minimization Networks for Inverse Problems: An Application to EEG Imaging [4.063392865490957]
  逆問題はしばしば誤りを犯し、強い安定性と収束を保証する最適化スキームを必要とする。 本稿では,二段階最適化設定における逆問題に対する学習されたMajorization-Minimization(MM)フレームワークを提案する。 我々は,古典的MM降下保証を保ちながら,各MMステップを管理する構造化曲率行列を学習する。
  論文  参考訳（メタデータ） (2026-01-23T10:33:45Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Deterministic Coreset Construction via Adaptive Sensitivity Trimming [0.2864713389096699]
  実証的リスク最小化のための決定論的コアセット構築のためのフレームワークを開発する。 我々の中心的な貢献は、適応決定論的一様重みトリミング(ADUWT)アルゴリズムである。 我々は,インスタンス最適オラクル,決定論的ストリーミング,公平性に制約されたEMMについて,オープンな問題で結論付けた。
  論文  参考訳（メタデータ） (2025-08-25T17:19:13Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Efficient Low-rank Identification via Accelerated Iteratively Reweighted Nuclear Norm Minimization [8.879403568685499]
  パラメータの平滑化に適応的な更新戦略を導入する。 この振る舞いは、アルゴリズムを数回繰り返した後に、効果的に問題を解決するものに変えます。 すべてのイテレーションが重要なものであることを保証し、グローバルに提案された実験を証明します。
  論文  参考訳（メタデータ） (2024-06-22T02:37:13Z)
• A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
  我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。 これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T01:52:09Z)
• Algorithmic Regularization in Tensor Optimization: Towards a Lifted Approach in Matrix Sensing [28.295987262533075]
  勾配降下(GD)は機械学習モデルの一般化に不可欠である。 我々はGDが暗黙の正規化を誘導し、コンパクト表現を促進することを示す。 以上の結果から, マトリックスセンシングのテンソルメトリーパラリゼーションの重要性が示唆された。
  論文  参考訳（メタデータ） (2023-10-24T06:40:26Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。