論文の概要: iALS++: Speeding up Matrix Factorization with Subspace Optimization

• arxiv url: http://arxiv.org/abs/2110.14044v1
• Date: Tue, 26 Oct 2021 21:41:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 15:10:09.081043
• Title: iALS++: Speeding up Matrix Factorization with Subspace Optimization
• Title（参考訳）: iALS++: サブスペース最適化による行列係数化の高速化
• Authors: Steffen Rendle, Walid Krichene, Li Zhang, Yehuda Koren
• Abstract要約: iALSは最小二乗の暗黙のフィードバックから行列因数分解モデルを学習するための一般的なアルゴリズムである。 ベクトル処理におけるiALSの利点と計算複雑性の低さを両立させる新しい解法iALS++を提案する。
• 参考スコア（独自算出の注目度）: 19.704506591363256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: iALS is a popular algorithm for learning matrix factorization models from implicit feedback with alternating least squares. This algorithm was invented over a decade ago but still shows competitive quality compared to recent approaches like VAE, EASE, SLIM, or NCF. Due to a computational trick that avoids negative sampling, iALS is very efficient especially for large item catalogues. However, iALS does not scale well with large embedding dimensions, d, due to its cubic runtime dependency on d. Coordinate descent variations, iCD, have been proposed to lower the complexity to quadratic in d. In this work, we show that iCD approaches are not well suited for modern processors and can be an order of magnitude slower than a careful iALS implementation for small to mid scale embedding sizes (d ~ 100) and only perform better than iALS on large embeddings d ~ 1000. We propose a new solver iALS++ that combines the advantages of iALS in terms of vector processing with a low computational complexity as in iCD. iALS++ is an order of magnitude faster than iCD both for small and large embedding dimensions. It can solve benchmark problems like Movielens 20M or Million Song Dataset even for 1000 dimensional embedding vectors in a few minutes.
• Abstract（参考訳）: iALSは最小二乗の暗黙のフィードバックから行列分解モデルを学習するための一般的なアルゴリズムである。 このアルゴリズムは10年以上前に発明されたが、VAE、EASE、SLIM、NCFといった最近のアプローチと比較しても競争力がある。 負のサンプリングを避ける計算トリックのため、iALSは特に大きな項目カタログにとって非常に効率的である。 しかし、iALS は d 上の立方体ランタイム依存性のため、大きな埋め込み次元 d ではうまくスケールしない。 座標降下変分(iCD)は、dの2次構造に複雑性を下げるために提案されている。 本研究は,iCD のアプローチが現代のプロセッサにはあまり適していないことを示し,小型・中規模の埋め込みサイズ (d ～ 100) に対する注意深い iALS 実装よりも桁違いに遅いことを示し,大規模な埋め込みサイズ (d ～ 1000) では iALS よりも優れた性能を示す。 本稿では, ialsの利点をベクトル処理とicdのような計算量の低い計算量と組み合わせた新しい解法 ials++ を提案する。 iALS++は、小型および大型の埋め込みディメンションにおいて、iCDよりも桁違いに高速である。 数分間で1000次元の埋め込みベクトルであっても、Movielens 20MやMillion Song Datasetのようなベンチマーク問題を解決することができる。

関連論文リスト

• Scaling LLM Inference with Optimized Sample Compute Allocation [56.524278187351925]
  我々は、異なる推論構成の最適な混合を見つけるアルゴリズムであるOSCAを提案する。 実験の結果,学習した混合アロケーションでは,最高の単一構成よりも精度がよいことがわかった。 OSCAはシングルターンタスク以外のエージェント処理にも有効であることが示されており、デフォルト設定よりも3倍少ない計算でSWE-Benchの精度が向上している。
  論文  参考訳（メタデータ） (2024-10-29T19:17:55Z)
• Two Sparse Matrices are Better than One: Sparsifying Neural Networks with Double Sparse Factorization [0.0]
  重み行列を2つのスパース行列に分解するDouble Sparse Factorization(DSF)を提案する。 提案手法は最先端の結果を達成し,従来のニューラルネットワークのスペーサー化を可能にした。
  論文  参考訳（メタデータ） (2024-09-27T15:48:39Z)
• Sparsity-Constraint Optimization via Splicing Iteration [1.3622424109977902]
  我々は sPlicing itEration (SCOPE) を用いたスペーサリティ制約最適化アルゴリズムを開発した。 SCOPEはパラメータをチューニングせずに効率的に収束する。 SCOPEを用いて2次最適化を解き、スパース分類器を学習し、バイナリ変数のスパースマルコフネットワークを復元する。 C++実装に基づいたオープンソースのPythonパッケージskscopeがGitHubで公開されている。
  論文  参考訳（メタデータ） (2024-06-17T18:34:51Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Linearized Wasserstein dimensionality reduction with approximation guarantees [65.16758672591365]
  LOT Wassmap は、ワーッサーシュタイン空間の低次元構造を明らかにするための計算可能なアルゴリズムである。 我々は,LOT Wassmapが正しい埋め込みを実現し,サンプルサイズの増加とともに品質が向上することを示す。 また、LOT Wassmapがペア距離計算に依存するアルゴリズムと比較して計算コストを大幅に削減することを示す。
  論文  参考訳（メタデータ） (2023-02-14T22:12:16Z)
• Asymmetric Scalable Cross-modal Hashing [51.309905690367835]
  クロスモーダルハッシュは、大規模なマルチメディア検索問題を解決する方法として成功している。 これらの問題に対処する新しい非対称スケーラブルクロスモーダルハッシュ(ASCMH)を提案する。 我々のASCMHは、最先端のクロスモーダルハッシュ法よりも精度と効率の点で優れています。
  論文  参考訳（メタデータ） (2022-07-26T04:38:47Z)
• Approximate Vanishing Ideal Computations at Scale [21.01267270902429]
  私たちはOracle Approximate Vanishing Idealアルゴリズム(OAVI)のスケールアップに注力しています。 OAVIは大規模機械学習のための魅力的な前処理技術である。
  論文  参考訳（メタデータ） (2022-07-04T07:17:28Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• A Zeroth-Order Block Coordinate Descent Algorithm for Huge-Scale Black-Box Optimization [19.718963603008294]
  本論文では,全クエリの複雑性が良好で,イテレーション毎の計算複雑性がはるかに小さい,新たなアルゴリズムであるZO-BCDを提案する。 ウェーブレットドメインのオーディオ分類器に対する攻撃例の作成は、97.9%の最先端攻撃成功率を達成できることを示す。
  論文  参考訳（メタデータ） (2021-02-21T23:06:35Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Towards Solving Large-scale Expensive Optimization Problems Efficiently Using Coordinate Descent Algorithm [3.1600708674008393]
  計算予算が限られているLSEGO問題に対処するために,修正された座標 Descent アルゴリズム (MCD) を提案する。 提案アルゴリズムは,関心領域の探索と,指数速度で半分に折り畳むことで検索空間の縮小という,2つの主要なステップの恩恵を受ける。 提案アルゴリズムは,次元1000の20個のベンチマーク関数上でのデルタグルーピングと協調的共進化との比較を行った。
  論文  参考訳（メタデータ） (2020-03-07T22:48:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。