論文の概要: Convergence to Second-Order Stationarity for Non-negative Matrix Factorization: Provably and Concurrently

• arxiv url: http://arxiv.org/abs/2002.11323v2
• Date: Thu, 19 Mar 2020 11:17:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 14:33:17.633514
• Title: Convergence to Second-Order Stationarity for Non-negative Matrix Factorization: Provably and Concurrently
• Title（参考訳）: 非負行列因子分解における二階定常性への収束:証明可能かつ同時に
• Authors: Ioannis Panageas, Stratis Skoulakis, Antonios Varvitsiotis, and Xiao Wang
• Abstract要約: 非負行列分解(NMF)は、機械学習における多くの応用において、基本的な非修飾最適化問題である。 本稿では,サドル点を同時にかつ確実に回避する乗法的重み更新型力学(Seung algorithm)を定義する。 重要な利点は、並列コンピューティング環境で並列実装を使用することである。
• 参考スコア（独自算出の注目度）: 18.89597524771988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-negative matrix factorization (NMF) is a fundamental non-convex optimization problem with numerous applications in Machine Learning (music analysis, document clustering, speech-source separation etc). Despite having received extensive study, it is poorly understood whether or not there exist natural algorithms that can provably converge to a local minimum. Part of the reason is because the objective is heavily symmetric and its gradient is not Lipschitz. In this paper we define a multiplicative weight update type dynamics (modification of the seminal Lee-Seung algorithm) that runs concurrently and provably avoids saddle points (first order stationary points that are not second order). Our techniques combine tools from dynamical systems such as stability and exploit the geometry of the NMF objective by reducing the standard NMF formulation over the non-negative orthant to a new formulation over (a scaled) simplex. An important advantage of our method is the use of concurrent updates, which permits implementations in parallel computing environments.
• Abstract（参考訳）: 非負行列分解(NMF)は、機械学習(音楽解析、文書クラスタリング、音声ソース分離など)における多くの応用において、基本的な非凸最適化問題である。 広範な研究を受けたにもかかわらず、局所的な最小値に確実に収束できる自然アルゴリズムが存在するか否かはよく分かっていない。 その理由の一部は、目的が対称であり、勾配がリプシッツではないからである。 本稿では,サドル点(第2次ではない第1次定常点)を並列かつ確実に回避する乗法的重み更新型力学(セミナルリー・ソンアルゴリズムの修正)を定義する。 本手法は,非負のオルサント上の標準NMFの定式化を,(スケールした)単純体上の新しい定式化に還元することにより,安定性などの動的システムからのツールを組み合わせる。 本手法の重要な利点は並列処理環境の実装を可能にする並列更新を使うことである。

関連論文リスト

• A Fresh Look at Generalized Category Discovery through Non-negative Matrix Factorization [83.12938977698988]
  Generalized Category Discovery (GCD) は、ラベル付きベースデータを用いて、ベース画像と新規画像の両方を分類することを目的としている。 現在のアプローチでは、コサイン類似性に基づく共起行列 $barA$ の固有の最適化に不適切に対処している。 本稿では,これらの欠陥に対処するNon-Negative Generalized Category Discovery (NN-GCD) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T07:24:11Z)
• A Novel Maximum-Entropy-Driven Technique for Low-Rank Orthogonal Nonnegative Matrix Factorization with $\ell_0$-Norm sparsity Constraint [0.0]
  データ駆動制御と機械学習では、大きな行列を小さく、低ランクな要素に分解する、という一般的な要件がある。 本稿では,直交非負行列分解(ONMF)問題に対する革新的な解を提案する。 提案手法は,文献と同等あるいは改善された復元誤差を実現する。
  論文  参考訳（メタデータ） (2022-10-06T04:30:59Z)
• Log-based Sparse Nonnegative Matrix Factorization for Data Representation [55.72494900138061]
  非負の行列因子化(NMF)は、非負のデータを部品ベースの表現で表すことの有効性から、近年広く研究されている。 そこで本研究では,係数行列に対数ノルムを課した新しいNMF法を提案する。 提案手法のロバスト性を高めるために,$ell_2,log$-(pseudo) ノルムを新たに提案した。
  論文  参考訳（メタデータ） (2022-04-22T11:38:10Z)
• Self-supervised Symmetric Nonnegative Matrix Factorization [82.59905231819685]
  シンメトリー非負係数行列(SNMF)は、データクラスタリングの強力な方法であることを示した。 より良いクラスタリング結果を求めるアンサンブルクラスタリングにインスパイアされた,自己監視型SNMF(S$3$NMF)を提案する。 SNMFのコード特性に対する感度を、追加情報に頼らずに活用しています。
  論文  参考訳（メタデータ） (2021-03-02T12:47:40Z)
• Hybrid Trilinear and Bilinear Programming for Aligning Partially Overlapping Point Sets [85.71360365315128]
  多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。 まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。 次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-01-19T04:24:23Z)
• Beyond Procrustes: Balancing-Free Gradient Descent for Asymmetric Low-Rank Matrix Sensing [36.96922859748537]
  低ランク行列推定は、科学と工学のさまざまなアプリケーションで中心的な役割を果たします。 既存のアプローチは、2つの行列因子のスケールのバランスをとるために計量正規化項を加えることに頼っている。 本論文では,低ランク行列の線形測定値の少ない値から回復する性能の理論的正当化について述べる。
  論文  参考訳（メタデータ） (2021-01-13T15:03:52Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。