論文の概要: Absence of spurious solutions far from ground truth: A low-rank analysis with high-order losses

• arxiv url: http://arxiv.org/abs/2403.06056v1
• Date: Sun, 10 Mar 2024 01:07:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 09:02:07.467912
• Title: Absence of spurious solutions far from ground truth: A low-rank analysis with high-order losses
• Title（参考訳）: 基底的真理から遠く離れたスプリアス解の欠如--高次損失を伴う低ランク解析
• Authors: Ziye Ma, Ying Chen, Javad Lavaei, Somayeh Sojoudi
• Abstract要約: マトリックスセンシング問題は、最適以下の急激な解の拡散を伴う、広範に非順序性を示す。 この研究は、景観の複雑さを解き明かす新しい理論的な洞察を提供する。
• 参考スコア（独自算出の注目度）: 28.034556542422976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Matrix sensing problems exhibit pervasive non-convexity, plaguing optimization with a proliferation of suboptimal spurious solutions. Avoiding convergence to these critical points poses a major challenge. This work provides new theoretical insights that help demystify the intricacies of the non-convex landscape. In this work, we prove that under certain conditions, critical points sufficiently distant from the ground truth matrix exhibit favorable geometry by being strict saddle points rather than troublesome local minima. Moreover, we introduce the notion of higher-order losses for the matrix sensing problem and show that the incorporation of such losses into the objective function amplifies the negative curvature around those distant critical points. This implies that increasing the complexity of the objective function via high-order losses accelerates the escape from such critical points and acts as a desirable alternative to increasing the complexity of the optimization problem via over-parametrization. By elucidating key characteristics of the non-convex optimization landscape, this work makes progress towards a comprehensive framework for tackling broader machine learning objectives plagued by non-convexity.
• Abstract（参考訳）: マトリックスセンシング問題は広く非凸性を示し、最適でないスプリアス解の増殖を伴う緩和最適化を示す。 これらの臨界点への収束を避けることは大きな課題となる。 この研究は、非凸景観の複雑さを解き明かす新しい理論的な洞察を提供する。 本研究では,ある条件下では,基底真理行列から十分離れた臨界点が,局所的極小よりも厳密な鞍点であることから,良好な幾何性を示すことを証明した。 さらに, マトリクスセンシング問題に対する高次損失の概念を導入し, 目的関数にそのような損失を組み込むことで, それらの臨界点周辺の負の曲率を増幅することを示す。 これは、高次損失による目的関数の複雑性の増大は、そのような臨界点からの脱出を加速し、過剰パラメータ化による最適化問題の複雑さの増大に望ましい代替手段となることを意味する。 非凸最適化ランドスケープの重要な特徴を明らかにすることにより、この研究は非凸性に悩む広範な機械学習目標に取り組むための包括的フレームワークへと前進する。

関連論文リスト

• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Projection-Free Variance Reduction Methods for Stochastic Constrained Multi-Level Compositional Optimization [34.628967272528044]
  本稿では,制約付きマルチレベル最適化関数に対するプロジェクションフリーアルゴリズムについて検討する。 段階的適応を用いて凸関数と強凸関数の複素数を求める。
  論文  参考訳（メタデータ） (2024-06-06T06:56:56Z)
• Critical Points and Convergence Analysis of Generative Deep Linear Networks Trained with Bures-Wasserstein Loss [2.294014185517203]
  本稿では,バーレス=ヴァッサーシュタイン距離で学習した共分散行列の行列分解モデルについて考察する。 階数有界行列の空間上のバーレス=ヴァッサーシュタイン距離の臨界点と最小化器を特徴づける。 有限段勾配勾配のスムーズな摂動バージョンを用いて勾配流の収束結果を確立する。
  論文  参考訳（メタデータ） (2023-03-06T10:56:14Z)
• Over-parametrization via Lifting for Low-rank Matrix Sensing: Conversion of Spurious Solutions to Strict Saddle Points [19.76880379215792]
  本稿では,Burer-Monte 因数分解による問題の非解法に関する重要なクラスについて述べる。 この問題の解は階層を通して定常点にとどまっているが、それらもまた厳密なサドル点に変換される。 これは、過度なパラメトリゼーションが解に対して負となることを示す文献の最初の結果である。
  論文  参考訳（メタデータ） (2023-02-15T18:14:00Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Low-rank matrix recovery with non-quadratic loss: projected gradient method and regularity projection oracle [23.84884127542249]
  低ランク行列回復の既往の結果は2次損失に大きく影響した。 非二次的損失を伴う証明可能な低ランク回復における重要な要素が正規性予測であることを示す。
  論文  参考訳（メタデータ） (2020-08-31T17:56:04Z)
• Ideal formulations for constrained convex optimization problems with indicator variables [2.578242050187029]
  本研究では,指標変数と指標に対する制約を用いた凸最適化問題のクラスを凸化することを検討した。 スパース回帰問題の凸化に関する従来の研究とは異なり、非線形非分離対象、指標変数、制約を同時に検討する。 階層性,多行性,空間性制約といった問題に対する理想的な凸化を導出する。
  論文  参考訳（メタデータ） (2020-06-30T21:07:10Z)
• High-Dimensional Robust Mean Estimation via Gradient Descent [73.61354272612752]
  一定対向分数の存在下でのロバスト平均推定の問題は勾配降下によって解けることを示す。 我々の研究は、近辺の非補題推定とロバスト統計の間の興味深い関係を確立する。
  論文  参考訳（メタデータ） (2020-05-04T10:48:04Z)
• Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization [64.26238893241322]
  単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。 いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。 これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
  論文  参考訳（メタデータ） (2020-03-31T16:54:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。