論文の概要: Accelerating Matrix Factorization by Dynamic Pruning for Fast Recommendation

• arxiv url: http://arxiv.org/abs/2404.04265v1
• Date: Mon, 18 Mar 2024 16:27:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-14 13:21:48.435134
• Title: Accelerating Matrix Factorization by Dynamic Pruning for Fast Recommendation
• Title（参考訳）: 高速レコメンデーションのための動的プルーニングによる行列係数の高速化
• Authors: Yining Wu, Shengyu Duan, Gaole Sai, Chenhong Cao, Guobing Zou,
• Abstract要約: MF(Matrix Factorization)は、リコメンデーションシステム(RS)のための協調フィルタリングアルゴリズムである。 現在のRSではユーザ/イテムが劇的に増加しているため、MFモデルのトレーニングに要する計算の複雑さは大幅に増大している。 我々は、追加の計算資源を誘導することなく、MFを高速化するアルゴリズム手法を提案する。
• 参考スコア（独自算出の注目度）: 0.49399484784577985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Matrix factorization (MF) is a widely used collaborative filtering (CF) algorithm for recommendation systems (RSs), due to its high prediction accuracy, great flexibility and high efficiency in big data processing. However, with the dramatically increased number of users/items in current RSs, the computational complexity for training a MF model largely increases. Many existing works have accelerated MF, by either putting in additional computational resources or utilizing parallel systems, introducing a large cost. In this paper, we propose algorithmic methods to accelerate MF, without inducing any additional computational resources. In specific, we observe fine-grained structured sparsity in the decomposed feature matrices when considering a certain threshold. The fine-grained structured sparsity causes a large amount of unnecessary operations during both matrix multiplication and latent factor update, increasing the computational time of the MF training process. Based on the observation, we firstly propose to rearrange the feature matrices based on joint sparsity, which potentially makes a latent vector with a smaller index more dense than that with a larger index. The feature matrix rearrangement is given to limit the error caused by the later performed pruning process. We then propose to prune the insignificant latent factors by an early stopping process during both matrix multiplication and latent factor update. The pruning process is dynamically performed according to the sparsity of the latent factors for different users/items, to accelerate the process. The experiments show that our method can achieve 1.2-1.65 speedups, with up to 20.08% error increase, compared with the conventional MF training process. We also prove the proposed methods are applicable considering different hyperparameters including optimizer, optimization strategy and initialization method.
• Abstract（参考訳）: 行列分解 (MF) は、高い予測精度、優れた柔軟性、ビッグデータ処理における高い効率のために、リコメンデーションシステム (RS) に広く使われているコラボレーティブフィルタリング (CF) アルゴリズムである。 しかし、現在のRSのユーザ/イテムが劇的に増加し、MFモデルをトレーニングする計算の複雑さが大きくなった。 既存の多くの研究は、追加の計算資源を投入するか、並列システムを利用することでMFを加速し、大きなコストをかけた。 本稿では,余分な計算資源を誘導することなく,MFを高速化するアルゴリズムを提案する。 具体的には, あるしきい値を考慮した場合, 分解された特徴行列の微細な構造空間を観察する。 微細な構造化されたスパーシリティは、行列乗算と潜在因子の更新の間に大量の不要な操作を引き起こし、MFトレーニングプロセスの計算時間を増加させる。 この観測に基づいて,まず関節の間隔に基づいて特徴行列を並べ替えることを提案する。 特徴行列再構成は、後のプルーニング処理による誤差を制限するために与えられる。 そこで本研究では,行列乗算と潜在因子更新の双方において,非有意な潜在因子を早期に停止するプロセスによって引き起こすことを提案する。 プルーニングプロセスは、異なるユーザ/イテムに対する潜伏因子の間隔に応じて動的に実行され、プロセスが加速される。 実験の結果,従来のMF訓練法と比較して最大20.08%の誤差増加で1.2-1.65の高速化が達成できた。 また,最適化手法,最適化手法,初期化手法など,異なるパラメータを考慮した提案手法が適用可能であることを示す。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Unitary Approximate Message Passing for Matrix Factorization [90.84906091118084]
  行列分解 (MF) を一定の制約で考慮し, 様々な分野の応用を見いだす。 我々は,効率の良いメッセージパッシング実装であるUAMPMFを用いて,MFに対するベイズ的アプローチを開発する。 UAMPMFは、回復精度、ロバスト性、計算複雑性の観点から、最先端のアルゴリズムを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2022-07-31T12:09:32Z)
• Asymmetric Scalable Cross-modal Hashing [51.309905690367835]
  クロスモーダルハッシュは、大規模なマルチメディア検索問題を解決する方法として成功している。 これらの問題に対処する新しい非対称スケーラブルクロスモーダルハッシュ(ASCMH)を提案する。 我々のASCMHは、最先端のクロスモーダルハッシュ法よりも精度と効率の点で優れています。
  論文  参考訳（メタデータ） (2022-07-26T04:38:47Z)
• FastSTMF: Efficient tropical matrix factorization algorithm for sparse data [0.0]
  機械学習における最も一般的な手法の一つである行列分解は、最近、熱帯セミリングを用いた予測タスクに非線形性を導入することで恩恵を受けている。 本研究では,STMF(Sparse Tropical Matrix Factorization)に基づく新しいFastSTMF法を提案する。 我々は,TCGAデータベースからの合成および実遺伝子発現データ上でFastSTMFを評価し,FastSTMFがSTMFの精度と実行時間の両方で優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-13T13:13:06Z)
• Weighted Low Rank Matrix Approximation and Acceleration [0.5177947445379687]
  低ランク行列近似は機械学習における中心的な概念の1つである。 低ランク行列補完(LRMC)は、いくつかの観測が欠落しているときにLRMA問題を解く。 重み付き問題を解くアルゴリズムと2つの加速手法を提案する。
  論文  参考訳（メタデータ） (2021-09-22T22:03:48Z)
• Self-supervised Symmetric Nonnegative Matrix Factorization [82.59905231819685]
  シンメトリー非負係数行列(SNMF)は、データクラスタリングの強力な方法であることを示した。 より良いクラスタリング結果を求めるアンサンブルクラスタリングにインスパイアされた,自己監視型SNMF(S$3$NMF)を提案する。 SNMFのコード特性に対する感度を、追加情報に頼らずに活用しています。
  論文  参考訳（メタデータ） (2021-03-02T12:47:40Z)
• Fast and Accurate Pseudoinverse with Sparse Matrix Reordering and Incremental Approach [4.710916891482697]
  擬逆は行列逆の一般化であり、機械学習で広く利用されている。 FastPIはスパース行列に対する新たなインクリメンタル特異値分解法(SVD)である。 我々は,FastPIが精度を損なうことなく,他の近似手法よりも高速に擬似逆計算を行うことを示す。
  論文  参考訳（メタデータ） (2020-11-09T07:47:10Z)
• Rank and run-time aware compression of NLP Applications [12.965657113072325]
  本稿では,ハイブリッド行列係数化と呼ばれる新しい圧縮手法を提案する。 行列のランクを2倍にすることで、低ランク行列分解法を改善する。 プルーニングよりも2.32倍高速で、LMFより16.77%精度が高い。
  論文  参考訳（メタデータ） (2020-10-06T16:03:15Z)
• Augmentation of the Reconstruction Performance of Fuzzy C-Means with an Optimized Fuzzification Factor Vector [99.19847674810079]
  Fuzzy C-Means (FCM) は情報グラニュラーを構成する最も頻繁に使用される手法の1つである。 本稿では, ファジィ化因子のベクトルを導入することにより, FCMに基づく脱顆粒機構を増強する。 合成データセットと公開データセットの両方で実験が完了し、提案手法が汎用データ再構成手法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-04-13T04:17:30Z)
• A High-Performance Implementation of Bayesian Matrix Factorization with Limited Communication [10.639704288188767]
  行列分解アルゴリズムは予測の不確実性を定量化し、過度な適合を避けることができる。 計算コストが禁じられているため、大規模なデータには広く使われていない。 スケーラビリティに対する両アプローチの最先端が組み合わさることを示します。
  論文  参考訳（メタデータ） (2020-04-06T11:16:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。