論文の概要: Escaping Spurious Local Minima of Low-Rank Matrix Factorization Through Convex Lifting

• arxiv url: http://arxiv.org/abs/2204.14067v1
• Date: Fri, 29 Apr 2022 13:04:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-02 22:36:06.471077
• Title: Escaping Spurious Local Minima of Low-Rank Matrix Factorization Through Convex Lifting
• Title（参考訳）: 凸浮揚による低ランク行列因子分解のスプリアス局所最小化
• Authors: Ching-pei Lee, Ling Liang, Tianyun Tang, Kim-Chuan Toh
• Abstract要約: 本研究は,MF-Global と呼ばれる非低ランク行列分解(MF)問題に対する大域的高速解法を提案する。 コンベックスのステップを通じて,実世界のノイズの多いデータの中で,サドルやスプリケートな局所ミニマを効率的に回避する。 我々は,MF-Globalが既存のMFアプローチが定着している局所解を効果的に回避できることを示す。
• 参考スコア（独自算出の注目度）: 10.76492224896965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work proposes a rapid global solver for nonconvex low-rank matrix factorization (MF) problems that we name MF-Global. Through convex lifting steps, our method efficiently escapes saddle points and spurious local minima ubiquitous in noisy real-world data, and is guaranteed to always converge to the global optima. Moreover, the proposed approach adaptively adjusts the rank for the factorization and provably identifies the optimal rank for MF automatically in the course of optimization through tools of manifold identification, and thus it also spends significantly less time on parameter tuning than existing MF methods, which require an exhaustive search for this optimal rank. On the other hand, when compared to methods for solving the lifted convex form only, MF-Global leads to significantly faster convergence and much shorter running time. Experiments on real-world large-scale recommendation system problems confirm that MF-Global can indeed effectively escapes spurious local solutions at which existing MF approaches stuck, and is magnitudes faster than state-of-the-art algorithms for the lifted convex form.
• Abstract（参考訳）: 本研究は,MF-Global と呼ばれる非凸低ランク行列分解(MF)問題に対する高速大域的解法を提案する。 対流昇降ステップにより,ノイズの多い実世界データにおいて,サドルポイントとスプリアス局所ミニマを効率的に回避し,常にグローバルオプティマに収束することが保証される。 さらに,提案手法は因子化のランクを適応的に調整し,多様体識別ツールによる最適化の過程でMFの最適ランクを自動的に同定し,パラメータチューニングに要する時間を既存のMF法よりも大幅に短縮する。 一方、持ち上げられた凸形式のみを解く方法と比較すると、mf-globalは収束を大幅に高速化し、実行時間が大幅に短縮される。 実世界の大規模レコメンデーションシステム問題に関する実験では、MF-Globalが既存のMFアプローチが定着している急激な局所解を効果的に回避できることを確認した。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Exponentially Convergent Algorithms for Supervised Matrix Factorization [2.1485350418225244]
  Supervised Factorization (SMF) は、抽出タスクと分類タスクを集約する機械学習手法である。 本稿では,組合わせ係数空間推定における低ランク推定問題としてSMFを'リフト'する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-18T23:24:02Z)
• Accelerated Fuzzy C-Means Clustering Based on New Affinity Filtering and Membership Scaling [74.85538972921917]
  Fuzzy C-Means (FCM) は広く使われているクラスタリング手法である。 FCMはクラスタリングプロセスの中間から後期の段階で効率が低い。 新しいアフィニティフィルタとメンバシップスケーリング(AMFCM)に基づくFCMを提案する。
  論文  参考訳（メタデータ） (2023-02-14T14:20:31Z)
• AdaSfM: From Coarse Global to Fine Incremental Adaptive Structure from Motion [48.835456049755166]
  AdaSfMは粗粒度適応型SfMアプローチであり、大規模かつ挑戦的なデータセットにスケーラブルである。 当社のアプローチはまず,低コストセンサによる計測を利用して,ビューグラフの信頼性を向上させる,粗大なグローバルSfMを実現する。 本手法では,全局所再構成をグローバルSfMの座標フレームに整合させるため,しきい値適応戦略を用いる。
  論文  参考訳（メタデータ） (2023-01-28T09:06:50Z)
• On the Global Solution of Soft k-Means [159.23423824953412]
  本稿では,ソフトk-平均問題の解法を全世界で提案する。 ミニマルボリュームソフトkMeans (MVSkM) と呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2022-12-07T12:06:55Z)
• Generalized Federated Learning via Sharpness Aware Minimization [22.294290071999736]
  シャープネス・アウェア・ミニミゼーション(SAM)の局所性に基づく汎用的で効果的なアルゴリズムである textttFedSAM を提案し,局所的およびグローバルなモデルをブリッジする運動量FLアルゴリズムを開発した。 実験により,提案アルゴリズムは既存のFL研究を著しく上回り,学習偏差を著しく低減した。
  論文  参考訳（メタデータ） (2022-06-06T13:54:41Z)
• Distributionally Robust Federated Averaging [19.875176871167966]
  適応サンプリングを用いた堅牢な学習周期平均化のためのコミュニケーション効率の高い分散アルゴリズムを提案する。 我々は、フェデレーション学習環境における理論的結果に関する実験的証拠を裏付ける。
  論文  参考訳（メタデータ） (2021-02-25T03:32:09Z)
• Mime: Mimicking Centralized Stochastic Algorithms in Federated Learning [102.26119328920547]
  フェデレートラーニング(FL)は、異なるクライアントにわたるデータの均一性のため、最適化の難しい設定である。 本稿では,クライアントのドリフトを緩和し,任意の集中最適化アルゴリズムを適用するアルゴリズムフレームワークであるMimeを提案する。
  論文  参考訳（メタデータ） (2020-08-08T21:55:07Z)
• Shonan Rotation Averaging: Global Optimality by Surfing $SO(p)^n$ [26.686173666277725]
  焼南回転平均化は, 測定ノイズの軽度な仮定の下で, 世界規模で最適解を復元することが保証される。 そこで本手法では, 回転平均化問題の最適解を導出するために半定緩和法を用いる。
  論文  参考訳（メタデータ） (2020-08-06T16:08:23Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。