論文の概要: Accelerating nuclear-norm regularized low-rank matrix optimization through Burer-Monteiro decomposition

• arxiv url: http://arxiv.org/abs/2204.14067v3
• Date: Tue, 17 Dec 2024 07:39:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:54:25.171237
• Title: Accelerating nuclear-norm regularized low-rank matrix optimization through Burer-Monteiro decomposition
• Title（参考訳）: Burer-Monteiro分解による加速核ノルム正規化低ランク行列最適化
• Authors: Ching-pei Lee, Ling Liang, Tianyun Tang, Kim-Chuan Toh,
• Abstract要約: 凸正規化および低ランク行列問題に対する高速BM-Globalを提案する。 BM-Globalは、原子力ノーミライザを含む低ランク問題に対する最先端のアルゴリズムよりも高速である。
• 参考スコア（独自算出の注目度）: 11.829012707752696
• License:
• Abstract: This work proposes a rapid algorithm, BM-Global, for nuclear-norm-regularized convex and low-rank matrix optimization problems. BM-Global efficiently decreases the objective value via low-cost steps leveraging the nonconvex but smooth Burer-Monteiro (BM) decomposition, while effectively escapes saddle points and spurious local minima ubiquitous in the BM form to obtain guarantees of fast convergence rates to the global optima of the original nuclear-norm-regularized problem through aperiodic inexact proximal gradient steps on it. The proposed approach adaptively adjusts the rank for the BM decomposition and can provably identify an optimal rank for the BM decomposition problem automatically in the course of optimization through tools of manifold identification. BM-Global hence also spends significantly less time on parameter tuning than existing matrix-factorization methods, which require an exhaustive search for finding this optimal rank. Extensive experiments on real-world large-scale problems of recommendation systems, regularized kernel estimation, and molecular conformation confirm that BM-Global can indeed effectively escapes spurious local minima at which existing BM approaches are stuck, and is a magnitude faster than state-of-the-art algorithms for low-rank matrix optimization problems involving a nuclear-norm regularizer. Based on this research, we have released an open-source package of the proposed BM-Global at https://www.github.com/leepei/BM-Global/.
• Abstract（参考訳）: 本研究は,核ノルム正規化凸問題と低ランク行列最適化問題に対する高速アルゴリズムBM-Globalを提案する。 BM-Global は非凸だが滑らかなBurer-Monteiro (BM) 分解を利用した低コストのステップで目的値を効率よく減少させると同時に、BM 形式のサドル点や急激な局所ミニマを効果的に回避し、その上の周期的不規則な近位勾配ステップを通じて原核-ノルム-正則化問題の大域的最適値への高速収束率の保証を得る。 提案手法は、BM分解のランクを適応的に調整し、多様体識別のツールを用いて最適化の過程でBM分解問題の最適ランクを自動同定することができる。 したがって、BM-Globalは既存の行列分解法よりもパラメータチューニングに要する時間をはるかに少なくし、この最適ランクを見つけるには徹底的な探索が必要である。 推奨システムの大規模問題、正規化カーネル推定、分子配座に関する大規模な実験により、BM-Globalは既存のBMアプローチが停滞している局所最小値から効果的に逃れることができ、核ノルム正規化器を含む低ランク行列最適化問題に対する最先端のアルゴリズムよりも格段に高速であることを確認した。 本研究に基づき,提案されているBM-Globalのオープンソースパッケージをhttps://www.github.com/leepei/BM-Global/で公開した。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Exponentially Convergent Algorithms for Supervised Matrix Factorization [2.1485350418225244]
  Supervised Factorization (SMF) は、抽出タスクと分類タスクを集約する機械学習手法である。 本稿では,組合わせ係数空間推定における低ランク推定問題としてSMFを'リフト'する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-18T23:24:02Z)
• Accelerated Fuzzy C-Means Clustering Based on New Affinity Filtering and Membership Scaling [74.85538972921917]
  Fuzzy C-Means (FCM) は広く使われているクラスタリング手法である。 FCMはクラスタリングプロセスの中間から後期の段階で効率が低い。 新しいアフィニティフィルタとメンバシップスケーリング(AMFCM)に基づくFCMを提案する。
  論文  参考訳（メタデータ） (2023-02-14T14:20:31Z)
• AdaSfM: From Coarse Global to Fine Incremental Adaptive Structure from Motion [48.835456049755166]
  AdaSfMは粗粒度適応型SfMアプローチであり、大規模かつ挑戦的なデータセットにスケーラブルである。 当社のアプローチはまず,低コストセンサによる計測を利用して,ビューグラフの信頼性を向上させる,粗大なグローバルSfMを実現する。 本手法では,全局所再構成をグローバルSfMの座標フレームに整合させるため,しきい値適応戦略を用いる。
  論文  参考訳（メタデータ） (2023-01-28T09:06:50Z)
• On the Global Solution of Soft k-Means [159.23423824953412]
  本稿では,ソフトk-平均問題の解法を全世界で提案する。 ミニマルボリュームソフトkMeans (MVSkM) と呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2022-12-07T12:06:55Z)
• Generalized Federated Learning via Sharpness Aware Minimization [22.294290071999736]
  シャープネス・アウェア・ミニミゼーション(SAM)の局所性に基づく汎用的で効果的なアルゴリズムである textttFedSAM を提案し,局所的およびグローバルなモデルをブリッジする運動量FLアルゴリズムを開発した。 実験により,提案アルゴリズムは既存のFL研究を著しく上回り,学習偏差を著しく低減した。
  論文  参考訳（メタデータ） (2022-06-06T13:54:41Z)
• Distributionally Robust Federated Averaging [19.875176871167966]
  適応サンプリングを用いた堅牢な学習周期平均化のためのコミュニケーション効率の高い分散アルゴリズムを提案する。 我々は、フェデレーション学習環境における理論的結果に関する実験的証拠を裏付ける。
  論文  参考訳（メタデータ） (2021-02-25T03:32:09Z)
• Mime: Mimicking Centralized Stochastic Algorithms in Federated Learning [102.26119328920547]
  フェデレートラーニング(FL)は、異なるクライアントにわたるデータの均一性のため、最適化の難しい設定である。 本稿では,クライアントのドリフトを緩和し,任意の集中最適化アルゴリズムを適用するアルゴリズムフレームワークであるMimeを提案する。
  論文  参考訳（メタデータ） (2020-08-08T21:55:07Z)
• Shonan Rotation Averaging: Global Optimality by Surfing $SO(p)^n$ [26.686173666277725]
  焼南回転平均化は, 測定ノイズの軽度な仮定の下で, 世界規模で最適解を復元することが保証される。 そこで本手法では, 回転平均化問題の最適解を導出するために半定緩和法を用いる。
  論文  参考訳（メタデータ） (2020-08-06T16:08:23Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。