論文の概要: Joint Majorization-Minimization for Nonnegative Matrix Factorization with the $\beta$-divergence

• arxiv url: http://arxiv.org/abs/2106.15214v4
• Date: Mon, 17 Apr 2023 08:30:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 01:22:29.759285
• Title: Joint Majorization-Minimization for Nonnegative Matrix Factorization with the $\beta$-divergence
• Title（参考訳）: $\beta$-divergence を用いた非負行列因子化の連乗極小化
• Authors: Arthur Marmin and Jos\'e Henrique de Morais Goulart and C\'edric F\'evotte
• Abstract要約: 本稿では、$beta$-divergenceの目的関数を持つ非負行列分解(NMF)に対する新しい乗法的更新を提案する。 種々のデータセット(顔画像,音声スペクトログラム,ハイパースペクトルデータ,歌曲数)を用いて実験結果を報告する。
• 参考スコア（独自算出の注目度）: 4.468952886990851
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This article proposes new multiplicative updates for nonnegative matrix factorization (NMF) with the $\beta$-divergence objective function. Our new updates are derived from a joint majorization-minimization (MM) scheme, in which an auxiliary function (a tight upper bound of the objective function) is built for the two factors jointly and minimized at each iteration. This is in contrast with the classic approach in which a majorizer is derived for each factor separately. Like that classic approach, our joint MM algorithm also results in multiplicative updates that are simple to implement. They however yield a significant drop of computation time (for equally good solutions), in particular for some $\beta$-divergences of important applicative interest, such as the squared Euclidean distance and the Kullback-Leibler or Itakura-Saito divergences. We report experimental results using diverse datasets: face images, an audio spectrogram, hyperspectral data and song play counts. Depending on the value of $\beta$ and on the dataset, our joint MM approach can yield CPU time reductions from about $13\%$ to $78\%$ in comparison to the classic alternating scheme.
• Abstract（参考訳）: 本稿では,$\beta$-divergence 目的関数を持つ非負行列分解 (nmf) に対する新しい乗法的更新を提案する。 我々の新しい更新は,2つの要因に対して補助関数(目的関数の厳密な上界)を構築し,各イテレーションで最小化する連立偏極最小化(MM)スキームから導かれる。 これは、各因子に対して主化子を別々に導出する古典的なアプローチとは対照的である。 このような古典的なアプローチと同様に、我々のジョイントMMアルゴリズムは、実装が容易な乗法的更新をもたらす。 しかし、特に2乗ユークリッド距離やクルバックリーバー(英語版)や板倉斎藤ダイバージェンス(英語版)のような重要な応用的関心のある約$\beta$-divergences(英語版)に対して、計算時間が大幅に減少する(等しくよい解の場合)。 種々のデータセット(顔画像,音声スペクトログラム,ハイパースペクトルデータ,歌曲数)を用いて実験結果を報告する。 データセットの$\beta$の値と、私たちのジョイントMMアプローチでは、従来の交替方式と比較して、CPU時間の約13.%から7.8.%に短縮することができます。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。 スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。 実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Block Majorization Minimization with Extrapolation and Application to $\beta$-NMF [17.97403029273243]
  マルチ最適化問題のクラスを解くために,外挿法 (BMMe) を用いたブロック行列化最小化法を提案する。 本稿では,Bregman分散を適応的に更新することにより,BMMeのブロック偏極パラメータをブロックミラー法として再構成可能であることを示す。 広範囲な実験を通じて,$beta$NMF に対する有意な加速 BM を実証的に説明する。
  論文  参考訳（メタデータ） (2024-01-12T15:52:02Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes [80.89852729380425]
  そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。 我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
  論文  参考訳（メタデータ） (2022-12-12T18:58:59Z)
• FeDXL: Provable Federated Learning for Deep X-Risk Optimization [105.17383135458897]
  我々は、既存のアルゴリズムが適用できないXリスクのファミリーを最適化するために、新しい連邦学習(FL)問題に取り組む。 Xリスクに対するFLアルゴリズムを設計する際の課題は、複数のマシンに対する目的の非可逆性と、異なるマシン間の相互依存にある。
  論文  参考訳（メタデータ） (2022-10-26T00:23:36Z)
• Multi-block-Single-probe Variance Reduced Estimator for Coupled Compositional Optimization [49.58290066287418]
  構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。 本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
  論文  参考訳（メタデータ） (2022-07-18T12:03:26Z)
• Majorization-minimization for Sparse Nonnegative Matrix Factorization with the $\beta$-divergence [2.3787352248749376]
  他の因子(辞書行列)のノルムは不正な定式化を避けるために制御する必要があることはよく知られている。 標準のプラクティスは、辞書の列に単位ノルムを持つよう制約することであり、これは非自明な最適化問題につながる。 我々は,$ell_1$-regularization あるいはより "攻撃的" なログ規則化に対して,単純な乗法的更新をもたらすブロック・ディフレッシブ・プライマリゼーション・最小化アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-07-13T16:09:29Z)
• Paramixer: Parameterizing Mixing Links in Sparse Factors Works Better than Dot-Product Self-Attention [9.205331586765613]
  セルフアテンション(Self-attention)は、ニューラルネットワークにおいて、長距離データ要素を混合するために広く使用されているビルディングブロックである。 そこで我々は,Paramixerと呼ばれる,スケーラブルで効果的に混合できるビルディングブロックを提案する。 新しいビルディングブロックの全体的な計算コストは、$O(N log N)$である。
  論文  参考訳（メタデータ） (2022-04-22T12:35:08Z)
• Probabilistic semi-nonnegative matrix factorization: a Skellam-based framework [0.7310043452300736]
  我々は,Skellam-SNMFと呼ばれる半負行列分解(SNMF)に対処する新しい確率モデルを提案する。 先行成分,スケラム分布型隠れ変数,観測データからなる階層的生成モデルである。 2つの推論アルゴリズムが導出される: 最大エンファ後推定のための期待最大化(EM)アルゴリズムと、完全ベイズ推定のためのヴァリベイズEM(VBEM)アルゴリズム。
  論文  参考訳（メタデータ） (2021-07-07T15:56:22Z)
• Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
  本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。 理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。 我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
  論文  参考訳（メタデータ） (2020-05-13T16:44:12Z)
• Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
  我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。 本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
  論文  参考訳（メタデータ） (2020-02-08T21:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。