論文の概要: Exponentially Convergent Algorithms for Supervised Matrix Factorization

• arxiv url: http://arxiv.org/abs/2311.11182v1
• Date: Sat, 18 Nov 2023 23:24:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 06:52:40.472181
• Title: Exponentially Convergent Algorithms for Supervised Matrix Factorization
• Title（参考訳）: 教師付き行列分解のための指数収束アルゴリズム
• Authors: Joowon Lee, Hanbaek Lyu, Weixin Yao
• Abstract要約: Supervised Factorization (SMF) は、抽出タスクと分類タスクを集約する機械学習手法である。 本稿では,組合わせ係数空間推定における低ランク推定問題としてSMFを'リフト'する新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 2.1485350418225244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised matrix factorization (SMF) is a classical machine learning method that simultaneously seeks feature extraction and classification tasks, which are not necessarily a priori aligned objectives. Our goal is to use SMF to learn low-rank latent factors that offer interpretable, data-reconstructive, and class-discriminative features, addressing challenges posed by high-dimensional data. Training SMF model involves solving a nonconvex and possibly constrained optimization with at least three blocks of parameters. Known algorithms are either heuristic or provide weak convergence guarantees for special cases. In this paper, we provide a novel framework that 'lifts' SMF as a low-rank matrix estimation problem in a combined factor space and propose an efficient algorithm that provably converges exponentially fast to a global minimizer of the objective with arbitrary initialization under mild assumptions. Our framework applies to a wide range of SMF-type problems for multi-class classification with auxiliary features. To showcase an application, we demonstrate that our algorithm successfully identified well-known cancer-associated gene groups for various cancers.
• Abstract（参考訳）: 教師付き行列分解(supervised matrix factorization, smf)は、特徴抽出と分類を同時に行う古典的な機械学習手法である。 我々のゴールはSMFを使って、高次元データによって引き起こされる課題に対処し、解釈可能、データ再構成的、クラス識別的な特徴を提供する低ランク潜在因子を学習することである。 smfモデルのトレーニングには、少なくとも3ブロックのパラメータで非凸かつ制約のある最適化を解決することが含まれる。 既知のアルゴリズムはヒューリスティックか、特別な場合の弱い収束保証を提供する。 本稿では,組み合わせ係数空間における低ランク行列推定問題としてSMFを'リフト'する新しい枠組みを提案し,軽度の仮定の下で任意の初期化を伴って目的のグローバル最小化に指数関数的に高速に収束する効率的なアルゴリズムを提案する。 本フレームワークは,多クラス分類における多種多様なSMF型問題に適用できる。 そこで本研究では, 癌関連遺伝子群の同定に成功していることを示す。

関連論文リスト

• Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning [53.445068584013896]
  低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。 低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。 簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-10T17:06:41Z)
• Multivariate Systemic Risk Measures and Computation by Deep Learning Algorithms [63.03966552670014]
  本稿では,主観的最適度と関連するリスク割り当ての公平性に着目し,重要な理論的側面について論じる。 私たちが提供しているアルゴリズムは、予備項の学習、二重表現の最適化、およびそれに対応する公正なリスク割り当てを可能にします。
  論文  参考訳（メタデータ） (2023-02-02T22:16:49Z)
• Quadratic Matrix Factorization with Applications to Manifold Learning [1.6795461001108094]
  本稿では,データセットの配置する曲線多様体を学習するための2次行列分解(QMF)フレームワークを提案する。 アルゴリズムでは,QMFを最適化し,その理論的収束特性を確立するための交代最小化アルゴリズムを提案する。 合成多様体学習データセットとMNIST手書きデータセットと低温電子顕微鏡データセットを含む2つの実データセットの実験は、提案手法が競合相手よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:09:00Z)
• Supervised Class-pairwise NMF for Data Representation and Classification [2.7320863258816512]
  非負行列分解(NMF)に基づく手法は、特定のタスクにモデルを適応させるためにコスト関数に新しい用語を追加する。 NMF法は、因子化行列を推定するための教師なしアプローチを採用する。
  論文  参考訳（メタデータ） (2022-09-28T04:33:03Z)
• Unitary Approximate Message Passing for Matrix Factorization [90.84906091118084]
  行列分解 (MF) を一定の制約で考慮し, 様々な分野の応用を見いだす。 我々は,効率の良いメッセージパッシング実装であるUAMPMFを用いて,MFに対するベイズ的アプローチを開発する。 UAMPMFは、回復精度、ロバスト性、計算複雑性の観点から、最先端のアルゴリズムを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2022-07-31T12:09:32Z)
• The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
  本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。 ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。 ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
  論文  参考訳（メタデータ） (2022-06-14T12:30:11Z)
• Algorithmic Foundations of Empirical X-risk Minimization [51.58884973792057]
  この原稿は、機械学習とAIの新しい最適化フレームワーク、bf empirical X-risk baseline (EXM)を紹介している。 Xリスク(X-risk)は、構成測度または目的の族を表すために導入された用語である。
  論文  参考訳（メタデータ） (2022-06-01T12:22:56Z)
• Learning Multiresolution Matrix Factorization and its Wavelet Networks on Graphs [11.256959274636724]
  多分解能行列分解法(MMF)は高速行列分解法では珍しい。 本稿では、強化学習とスティーフェル多様体の最適化を組み合わせることで、因子化を巧みに最適化するMMFの学習可能なバージョンを提案する。 得られたウェーブレット基底は、従来のMMFアルゴリズムよりも優れており、標準学習タスクに頑健に展開可能な、この種の分解の最初のバージョンを提供する。
  論文  参考訳（メタデータ） (2021-11-02T23:14:17Z)
• Algorithms for Nonnegative Matrix Factorization with the Kullback-Leibler Divergence [20.671178429005973]
  Kullback-Leibler (KL) の発散は、非負行列分解(NMF)の最も広く使われている目的関数の1つである。 目的関数の非増加を保証する3つの新しいアルゴリズムを提案する。 我々は、KL NMFアルゴリズムの性能に関する総合的な画像を提供するために、広範な数値実験を行う。
  論文  参考訳（メタデータ） (2020-10-05T11:51:39Z)
• Positive Semidefinite Matrix Factorization: A Connection with Phase Retrieval and Affine Rank Minimization [71.57324258813674]
  位相探索(PR)とアフィンランク最小化(ARM)アルゴリズムに基づいてPSDMFアルゴリズムを設計可能であることを示す。 このアイデアに触発され、反復的ハードしきい値(IHT)に基づくPSDMFアルゴリズムの新たなファミリーを導入する。
  論文  参考訳（メタデータ） (2020-07-24T06:10:19Z)
• Simplex-Structured Matrix Factorization: Sparsity-based Identifiability and Provably Correct Algorithms [21.737226432466496]
  単純なx構造行列因数分解に対する識別可能性を保証する新しいアルゴリズムを提案する。 本稿では,合成データセットとハイパースペクトル画像に対するアプローチの有効性について述べる。
  論文  参考訳（メタデータ） (2020-07-22T14:01:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。