論文の概要: Majorization-minimization for Sparse Nonnegative Matrix Factorization
with the $\beta$-divergence
- arxiv url: http://arxiv.org/abs/2207.06316v4
- Date: Tue, 12 Mar 2024 11:29:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 02:47:38.175934
- Title: Majorization-minimization for Sparse Nonnegative Matrix Factorization
with the $\beta$-divergence
- Title（参考訳）: $\beta$-divergence を用いたスパース非負行列分解の最小化
- Authors: Arthur Marmin, Jos\'e Henrique de Morais Goulart, C\'edric F\'evotte
- Abstract要約: 他の因子(辞書行列)のノルムは不正な定式化を避けるために制御する必要があることはよく知られている。
標準のプラクティスは、辞書の列に単位ノルムを持つよう制約することであり、これは非自明な最適化問題につながる。
我々は,$ell_1$-regularization あるいはより "攻撃的" なログ規則化に対して,単純な乗法的更新をもたらすブロック・ディフレッシブ・プライマリゼーション・最小化アルゴリズムを導出する。
- 参考スコア（独自算出の注目度）: 2.3787352248749376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This article introduces new multiplicative updates for nonnegative matrix
factorization with the $\beta$-divergence and sparse regularization of one of
the two factors (say, the activation matrix). It is well known that the norm of
the other factor (the dictionary matrix) needs to be controlled in order to
avoid an ill-posed formulation. Standard practice consists in constraining the
columns of the dictionary to have unit norm, which leads to a nontrivial
optimization problem. Our approach leverages a reparametrization of the
original problem into the optimization of an equivalent scale-invariant
objective function. From there, we derive block-descent
majorization-minimization algorithms that result in simple multiplicative
updates for either $\ell_{1}$-regularization or the more "aggressive"
log-regularization. In contrast with other state-of-the-art methods, our
algorithms are universal in the sense that they can be applied to any
$\beta$-divergence (i.e., any value of $\beta$) and that they come with
convergence guarantees. We report numerical comparisons with existing heuristic
and Lagrangian methods using various datasets: face images, an audio
spectrogram, hyperspectral data, and song play counts. We show that our methods
obtain solutions of similar quality at convergence (similar objective values)
but with significantly reduced CPU times.
- Abstract（参考訳）: この記事では、2つの因子のうちの1つ(例えば活性化行列)の$\beta$-divergenceとスパース正規化による非負行列因子化の新しい乗法的更新を紹介する。
他の因子(辞書行列)のノルムは、不適切な定式化を避けるために制御する必要があることはよく知られている。
標準的な実践は辞書の列を単位ノルムに制限することであり、これは非自明な最適化問題につながる。
提案手法は,元問題の再パラメータ化を利用して,等価スケール不変目的関数の最適化を行う。
そこで我々は,$\ell_{1}$-regularization あるいはより "攻撃的" なログ正規化に対して,単純な乗法的更新をもたらすブロック・ディフレッシブ・プライマリゼーション・最小化アルゴリズムを導出する。
他の最先端手法とは対照的に、我々のアルゴリズムは任意の$\beta$-divergence(すなわち$\beta$の値)に適用可能であり、収束保証付きであるという意味で普遍的である。
本研究では,顔画像,音声スペクトログラム,ハイパースペクトルデータ,曲の演奏数などを用いて,既存のヒューリスティックおよびラグランジアン法との比較を行った。
提案手法は, コンバージェンス(類似目的値)において, CPU時間を大幅に短縮した類似品質の解が得られることを示す。
関連論文リスト
- Optimization without Retraction on the Random Generalized Stiefel Manifold [9.301728976515255]
本稿では,B$のランダムな推定値にのみアクセスしながら,最適化問題を解く,安価な反復法を提案する。
我々の方法はすべての反復において制約を強制するのではなく、予想で定義される一般化されたスティーフェル多様体上の臨界点に収束する反復を生成する。
論文 参考訳（メタデータ） (2024-05-02T19:55:30Z) - Mirror Natural Evolution Strategies [10.495496415022064]
我々は、ゼロ階探索で近似された一階情報と二階情報の両方を利用するゼロ階最適化理論に焦点をあてる。
我々は、textttMiNES の推定共分散行列が、目的関数のヘッセン行列の逆行列に収束することを示す。
論文 参考訳（メタデータ） (2023-08-01T11:45:24Z) - An Oblivious Stochastic Composite Optimization Algorithm for Eigenvalue
Optimization Problems [76.2042837251496]
相補的な合成条件に基づく2つの難解なミラー降下アルゴリズムを導入する。
注目すべきは、どちらのアルゴリズムも、目的関数のリプシッツ定数や滑らかさに関する事前の知識なしで機能する。
本稿では,大規模半確定プログラム上での手法の効率性とロバスト性を示す。
論文 参考訳（メタデータ） (2023-06-30T08:34:29Z) - A fast Multiplicative Updates algorithm for Non-negative Matrix Factorization [2.646309221150203]
本稿では,各サブプロブレムに対してヘッセン行列のより厳密な上界を構築することにより,乗法更新アルゴリズムの改善を提案する。
コンバージェンスはまだ保証されており、我々は実際に合成と実世界の両方のデータセットで、提案したfastMUアルゴリズムが通常の乗算更新アルゴリズムよりも数桁高速であることを示す。
論文 参考訳（メタデータ） (2023-03-31T12:09:36Z) - Asymmetric Scalable Cross-modal Hashing [51.309905690367835]
クロスモーダルハッシュは、大規模なマルチメディア検索問題を解決する方法として成功している。
これらの問題に対処する新しい非対称スケーラブルクロスモーダルハッシュ(ASCMH)を提案する。
我々のASCMHは、最先端のクロスモーダルハッシュ法よりも精度と効率の点で優れています。
論文 参考訳（メタデータ） (2022-07-26T04:38:47Z) - Multi-block-Single-probe Variance Reduced Estimator for Coupled
Compositional Optimization [49.58290066287418]
構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。
本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
論文 参考訳（メタデータ） (2022-07-18T12:03:26Z) - Joint Majorization-Minimization for Nonnegative Matrix Factorization
with the $\beta$-divergence [4.468952886990851]
本稿では、$beta$-divergenceの目的関数を持つ非負行列分解(NMF)に対する新しい乗法的更新を提案する。
種々のデータセット(顔画像,音声スペクトログラム,ハイパースペクトルデータ,歌曲数)を用いて実験結果を報告する。
論文 参考訳（メタデータ） (2021-06-29T09:58:21Z) - Clustering Mixture Models in Almost-Linear Time via List-Decodable Mean
Estimation [58.24280149662003]
本稿では,データセットの大部分を敵が破壊できるリストデコタブル平均推定の問題について検討する。
我々は、ほぼ最適な統計的保証を達成するために、リストデコダブル平均推定のための新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-06-16T03:34:14Z) - Solving weakly supervised regression problem using low-rank manifold
regularization [77.34726150561087]
我々は弱い教師付き回帰問題を解く。
weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。
数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
論文 参考訳（メタデータ） (2021-04-13T23:21:01Z) - Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。
本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
論文 参考訳（メタデータ） (2020-02-08T21:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。