論文の概要: Escaping Local Minima Provably in Non-convex Matrix Sensing: A Deterministic Framework via Simulated Lifting

• arxiv url: http://arxiv.org/abs/2602.05887v1
• Date: Thu, 05 Feb 2026 17:05:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:09.068757
• Title: Escaping Local Minima Provably in Non-convex Matrix Sensing: A Deterministic Framework via Simulated Lifting
• Title（参考訳）: 非凸マトリックスセンシングにおける局所最小化の可能性:シミュレート・リフティングによる決定論的枠組み
• Authors: Tianqi Shen, Jinji Yang, Junze He, Kunhan Gao, Ziye Ma,
• Abstract要約: 低ランクマトリクスセンシングは、ランドスケープが典型的には急激な局所的なミニマを含む難解な非問題である。 近年の研究では、勾配による過剰な自明化は、急激な局所ミニマを厳密な点に変換することが示されている。 オーバーエミュレートされた空間をシミュレートするSOD(Simulated Direction)エスケープ機構を提案する。
• 参考スコア（独自算出の注目度）: 4.6910869230336045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank matrix sensing is a fundamental yet challenging nonconvex problem whose optimization landscape typically contains numerous spurious local minima, making it difficult for gradient-based optimizers to converge to the global optimum. Recent work has shown that over-parameterization via tensor lifting can convert such local minima into strict saddle points, an insight that also partially explains why massive scaling can improve generalization and performance in modern machine learning. Motivated by this observation, we propose a Simulated Oracle Direction (SOD) escape mechanism that simulates the landscape and escape direction of the over-parametrized space, without resorting to actually lifting the problem, since that would be computationally intractable. In essence, we designed a mathematical framework to project over-parametrized escape directions onto the original parameter space to guarantee a strict decrease of objective value from existing local minima. To the best of the our knowledge, this represents the first deterministic framework that could escape spurious local minima with guarantee, especially without using random perturbations or heuristic estimates. Numerical experiments demonstrate that our framework reliably escapes local minima and facilitates convergence to global optima, while incurring minimal computational cost when compared to explicit tensor over-parameterization. We believe this framework has non-trivial implications for nonconvex optimization beyond matrix sensing, by showcasing how simulated over-parameterization can be leveraged to tame challenging optimization landscapes.
• Abstract（参考訳）: 低ランク行列センシングは、最適化ランドスケープが典型的には多くのスパイラルな局所最小値を含む基本的な非凸問題であり、勾配に基づく最適化者が大域的最適化に収束することが困難である。 最近の研究は、テンソルリフトによる過度パラメータ化によって、そのような局所的なミニマを厳密なサドルポイントに変換することができることを示した。 本研究の目的は,この問題を実際に解き放つことなく,過度にパラメータ化された空間の景観と脱出方向をシミュレートする,シミュレーションされたOracle Direction (SOD) エスケープ機構を提案することである。 本質的には,既存の局所最小値からの目標値の厳格な減少を保証するために,過度にパラメータ化された避難方向を元のパラメータ空間に投影する数学的枠組みを設計した。 我々の知る限りでは、これは、特にランダムな摂動やヒューリスティックな見積もりを使わずに、急激な局所的なミニマから逃れることのできる、最初の決定論的なフレームワークである。 数値実験により,本フレームワークは局所最小化を確実に回避し,グローバル最適への収束を促進するとともに,明示的なテンソル過パラメータ化と比較して計算コストの最小化を図っている。 我々は,このフレームワークが,非凸最適化にマトリックスセンシング以上の意味を持たせることを信じている。

関連論文リスト

• A Saddle Point Remedy: Power of Variable Elimination in Non-convex Optimization [37.51825281790747]
  ローカルなミニマではなく、サドルポイントの拡散は、機械学習の大規模非最適化における障害である。 我々は, 変動除去が, 縮小した景観において, 決定的な最大質量を根本的に再認識することを示した。
  論文  参考訳（メタデータ） (2025-11-03T05:19:43Z)
• Zeroth-Order Optimization Finds Flat Minima [51.41529512093436]
  標準二点推定器によるゼロ階最適化は、ヘッセンの小さなトレースを持つ解を好むことを示す。 さらに、凸関数と十分に滑らかな関数に対する近似平坦なミニマに対して、ゼロ階最適化の収束率を提供する。
  論文  参考訳（メタデータ） (2025-06-05T17:59:09Z)
• A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
  我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。 これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T01:52:09Z)
• Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization [10.009748368458409]
  本稿では、(構造化された)空間性に対して、明示的に正規化された目的を円滑に最適化するためのフレームワークを提案する。 提案手法は,完全微分可能近似自由最適化を実現し,深層学習におけるユビキタス勾配降下パラダイムと互換性がある。
  論文  参考訳（メタデータ） (2023-07-07T13:06:12Z)
• The Probabilistic Normal Epipolar Constraint for Frame-To-Frame Rotation Optimization under Uncertain Feature Positions [53.478856119297284]
  特徴位置における異方性および不均一性を考慮した確率論的正規極性制約(PNEC)を導入する。 合成データの実験において、新しいPNECは元のNECよりも正確な回転推定値が得られることを示した。 我々は,提案手法を最先端のモノクロ回転専用オドメトリーシステムに統合し,実世界のKITTIデータセットに対して一貫した改良を行った。
  論文  参考訳（メタデータ） (2022-04-05T14:47:11Z)
• Analysis of Generalized Bregman Surrogate Algorithms for Nonsmooth Nonconvex Statistical Learning [2.049702429898688]
  本稿では,適応近似,ミラー,反復しきい値降下,DCプログラミングなど,幅広いBregman-surrogateフレームワークを例として取り上げる。
  論文  参考訳（メタデータ） (2021-12-16T20:37:40Z)
• Pushing the Envelope of Rotation Averaging for Visual SLAM [69.7375052440794]
  視覚SLAMシステムのための新しい最適化バックボーンを提案する。 従来の単分子SLAMシステムの精度, 効率, 堅牢性を向上させるために, 平均化を活用している。 我々のアプローチは、公開ベンチマークの最先端技術に対して、同等の精度で最大10倍高速に表示することができる。
  論文  参考訳（メタデータ） (2020-11-02T18:02:26Z)
• A Graduated Filter Method for Large Scale Robust Estimation [32.08441889054456]
  そこで我々は,ローカル・ミニマから逃れる強力な能力を有する,ロバストな推定のための新しい解法を提案する。 我々のアルゴリズムは、多くのローカルなミニマが不足している問題を解くために、最先端の手法に基づいて構築されている。
  論文  参考訳（メタデータ） (2020-03-20T02:51:31Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。