論文の概要: A Second-Order Majorant Algorithm for Nonnegative Matrix Factorization

• arxiv url: http://arxiv.org/abs/2303.17992v3
• Date: Wed, 18 Jun 2025 07:19:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.292613
• Title: A Second-Order Majorant Algorithm for Nonnegative Matrix Factorization
• Title（参考訳）: 非負行列因子分解のための2次行列アルゴリズム
• Authors: Mai-Quyen Pham, Jérémy Cohen, Thierry Chonavel,
• Abstract要約: 我々はNMFの2次最適化フレームワークを2次および$beta$-divergence損失関数の両方で導入する。 第二次行列 (SOM) は、ロス関数の局所的な二次的二次化をヘッセン行列の二次化によって構成する。 我々はmSOMが複数の損失関数にまたがる最先端のアルゴリズムより一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 2.646309221150203
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Nonnegative Matrix Factorization (NMF) is a fundamental tool in unsupervised learning, widely used for tasks such as dimensionality reduction, feature extraction, representation learning, and topic modeling. Many algorithms have been developed for NMF, including the well-known Multiplicative Updates (MU) algorithm, which belongs to a broader class of majorization-minimization techniques. In this work, we introduce a general second-order optimization framework for NMF under both quadratic and $\beta$-divergence loss functions. This approach, called Second-Order Majorant (SOM), constructs a local quadratic majorization of the loss function by majorizing its Hessian matrix. It includes MU as a special case, while enabling faster variants. In particular, we propose mSOM, a new algorithm within this class that leverages a tighter local approximation to accelerate convergence. We provide a convergence analysis, showing linear convergence for individual factor updates and global convergence to a stationary point for the alternating version, AmSOM algorithm. Numerical experiments on both synthetic and real data sets demonstrate that mSOM consistently outperforms state-of-the-art algorithms across multiple loss functions.
• Abstract（参考訳）: 非負行列因子化(Non negative Matrix Factorization, NMF)は、非教師なし学習の基本的なツールであり、次元減少、特徴抽出、表現学習、トピックモデリングなどのタスクに広く利用されている。 多くのアルゴリズムがNMF向けに開発されており、その例として有名な乗算更新(MU)アルゴリズムがある。 本研究では,NMFの2次最適化フレームワークを2次および$\beta$-divergence損失関数の下で導入する。 このアプローチはSOM (Second-Order Majorant) と呼ばれ、ロス関数の局所二次的二次化をヘッセン行列の二次化によって構成する。 MUを特別なケースとして含み、より高速な変種を可能にする。 特に,より厳密な局所近似を利用して収束を加速する新しいアルゴリズムmSOMを提案する。 本稿では,各因子の更新に対する線形収束と,AmSOMアルゴリズムの定常点への大域収束を示す収束解析を提案する。 合成データと実データの両方に関する数値実験により、mSOMは複数の損失関数にまたがる最先端のアルゴリズムを一貫して上回ることを示した。

関連論文リスト

• Stochastic Primal-Dual Double Block-Coordinate for Two-way Partial AUC Maximization [56.805574957824135]
  2方向部分AUCAUCは、不均衡なデータを持つバイナリ分類における重要な性能指標である。 TPAUC最適化のための既存のアルゴリズムは未探索のままである。 TPAUC最適化のための2つの革新的な二重座標ブロック座標アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-05-28T03:55:05Z)
• Improving Algorithmic Efficiency using Cryptography [11.496343300483904]
  計算問題を解く際の時間的複雑さを改善するために暗号を用いる方法を示す。 標準的な暗号仮定の下では、既存のアルゴリズムよりも決定的に高速なアルゴリズムを設計できることを示す。
  論文  参考訳（メタデータ） (2025-02-18T17:08:59Z)
• An Enhanced Zeroth-Order Stochastic Frank-Wolfe Framework for Constrained Finite-Sum Optimization [15.652261277429968]
  本稿では,制約付き有限サム最適化問題に対処するため,ゼロ階凸計算を改良したFrank-Wolfeを提案する。 本手法では,ゼロ次オラクルによる近似を効果的に低減する新しい二重分散低減フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-13T10:53:19Z)
• Towards a Fairer Non-negative Matrix Factorization [6.069820038869034]
  非負行列因子化(NMF)がデータ群の表現に偏りをもたらすかを検討する。 異なるグループに対する最大再構成損失を最小化するFairer-NMFという手法を提案する。
  論文  参考訳（メタデータ） (2024-11-14T23:34:38Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Exponentially Convergent Algorithms for Supervised Matrix Factorization [2.1485350418225244]
  Supervised Factorization (SMF) は、抽出タスクと分類タスクを集約する機械学習手法である。 本稿では,組合わせ係数空間推定における低ランク推定問題としてSMFを'リフト'する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-18T23:24:02Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• Learning the Positions in CountSketch [49.57951567374372]
  本稿では,まずランダムなスケッチ行列に乗じてデータを圧縮し,最適化問題を高速に解くスケッチアルゴリズムについて検討する。 本研究では,ゼロでないエントリの位置を最適化する学習ベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-11T07:28:35Z)
• Majorization-minimization for Sparse Nonnegative Matrix Factorization with the $\beta$-divergence [2.3787352248749376]
  他の因子(辞書行列)のノルムは不正な定式化を避けるために制御する必要があることはよく知られている。 標準のプラクティスは、辞書の列に単位ノルムを持つよう制約することであり、これは非自明な最適化問題につながる。 我々は,$ell_1$-regularization あるいはより "攻撃的" なログ規則化に対して,単純な乗法的更新をもたらすブロック・ディフレッシブ・プライマリゼーション・最小化アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-07-13T16:09:29Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Matrix Reordering for Noisy Disordered Matrices: Optimality and Computationally Efficient Algorithms [9.245687221460654]
  単細胞生物学とメダゲノミクスの応用により,ノイズモノトンToeplitz行列モデルに基づく行列化の問題を考察した。 我々は、決定理論の枠組みでこの問題の基本的な統計的限界を確立し、制約付き最小二乗率を示す。 そこで本研究では,性能向上を保証した新しい時間適応ソートアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-17T14:53:52Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Self-supervised Symmetric Nonnegative Matrix Factorization [82.59905231819685]
  シンメトリー非負係数行列(SNMF)は、データクラスタリングの強力な方法であることを示した。 より良いクラスタリング結果を求めるアンサンブルクラスタリングにインスパイアされた,自己監視型SNMF(S$3$NMF)を提案する。 SNMFのコード特性に対する感度を、追加情報に頼らずに活用しています。
  論文  参考訳（メタデータ） (2021-03-02T12:47:40Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)
• DeepMP for Non-Negative Sparse Decomposition [14.790515227906257]
  非負の信号はスパース信号の重要なクラスを形成する。 greedyとconvexの緩和アルゴリズムは、最も人気のある方法のひとつです。 このような修正の1つは、Matching Pursuit (MP) ベースのアルゴリズムのために提案されている。
  論文  参考訳（メタデータ） (2020-07-28T14:52:06Z)
• Positive Semidefinite Matrix Factorization: A Connection with Phase Retrieval and Affine Rank Minimization [71.57324258813674]
  位相探索(PR)とアフィンランク最小化(ARM)アルゴリズムに基づいてPSDMFアルゴリズムを設計可能であることを示す。 このアイデアに触発され、反復的ハードしきい値(IHT)に基づくPSDMFアルゴリズムの新たなファミリーを導入する。
  論文  参考訳（メタデータ） (2020-07-24T06:10:19Z)
• Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
  本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:57:57Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。