論文の概要: Efficient Mixed Dimension Embeddings for Matrix Factorization
- arxiv url: http://arxiv.org/abs/2205.11248v1
- Date: Wed, 18 May 2022 11:49:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-29 20:24:08.173282
- Title: Efficient Mixed Dimension Embeddings for Matrix Factorization
- Title(参考訳): マトリックスファクトリゼーションのための高効率混合次元埋め込み
- Authors: Dmitrii Beloborodov, Andrei Zimovnov, Petr Molodyk, Dmitrii Kirillov
(Yandex)
- Abstract要約: 本稿では,混合次元埋め込みを用いた2つの行列分解モデルを提案する。
これらのモデルは最小二乗の交互に訓練することができるため、非常に並列な実装が容易である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the prominence of neural network approaches in the field of
recommender systems, simple methods such as matrix factorization with quadratic
loss are still used in industry for several reasons. These models can be
trained with alternating least squares, which makes them easy to implement in a
massively parallel manner, thus making it possible to utilize billions of
events from real-world datasets. Large-scale recommender systems need to
account for severe popularity skew in the distributions of users and items, so
a lot of research is focused on implementing sparse, mixed dimension or shared
embeddings to reduce both the number of parameters and overfitting on rare
users and items. In this paper we propose two matrix factorization models with
mixed dimension embeddings, which can be optimized in a massively parallel
fashion using the alternating least squares approach.
- Abstract(参考訳): 推薦システムの分野におけるニューラルネットワークアプローチの優位性にもかかわらず、行列因数分解や二次的損失といった単純な手法は、いくつかの理由からまだ業界で使われている。
これらのモデルは、最小の平方形を交互にトレーニングすることで、非常に並列に実装できるため、現実世界のデータセットから数十億のイベントを活用できる。
大規模レコメンダシステムでは,ユーザとアイテムの分布に厳格な人気があるため,パラメータ数とレアユーザとアイテムのオーバーフィットを低減すべく,スパースや混合次元,あるいは共有埋め込みの実装に多くの研究が集中している。
本稿では, 交互最小二乗法を用いて並列に最適化できる, 混合次元埋め込みを持つ2つの行列分解モデルを提案する。
関連論文リスト
- Clustering based on Mixtures of Sparse Gaussian Processes [6.939768185086753]
低次元の組込み空間を使ってデータをクラスタする方法は、マシンラーニングにおいて依然として難しい問題である。
本稿では,クラスタリングと次元還元の両立を目的とした共同定式化を提案する。
我々のアルゴリズムはスパースガウス過程の混合に基づいており、スパースガウス過程混合クラスタリング(SGP-MIC)と呼ばれる。
論文 参考訳(メタデータ) (2023-03-23T20:44:36Z) - A parallelizable model-based approach for marginal and multivariate
clustering [0.0]
本稿では,モデルに基づくクラスタリングの頑健さを生かしたクラスタリング手法を提案する。
我々は、各マージンごとに異なる数のクラスタを持つことができる有限混合モデルを指定することで、この問題に対処する。
提案手法は、完全な(結合した)モデルベースのクラスタリング手法よりも、中程度から高次元の処理に適するだけでなく、計算的にも魅力的である。
論文 参考訳(メタデータ) (2022-12-07T23:54:41Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳(メタデータ) (2022-10-21T13:19:45Z) - A Novel Maximum-Entropy-Driven Technique for Low-Rank Orthogonal
Nonnegative Matrix Factorization with $\ell_0$-Norm sparsity Constraint [0.0]
データ駆動制御と機械学習では、大きな行列を小さく、低ランクな要素に分解する、という一般的な要件がある。
本稿では,直交非負行列分解(ONMF)問題に対する革新的な解を提案する。
提案手法は,文献と同等あるいは改善された復元誤差を実現する。
論文 参考訳(メタデータ) (2022-10-06T04:30:59Z) - Asymmetric Scalable Cross-modal Hashing [51.309905690367835]
クロスモーダルハッシュは、大規模なマルチメディア検索問題を解決する方法として成功している。
これらの問題に対処する新しい非対称スケーラブルクロスモーダルハッシュ(ASCMH)を提案する。
我々のASCMHは、最先端のクロスモーダルハッシュ法よりも精度と効率の点で優れています。
論文 参考訳(メタデータ) (2022-07-26T04:38:47Z) - Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。
提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
論文 参考訳(メタデータ) (2022-04-23T02:45:55Z) - High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
共分散行列の明示的な構成を避ける新しい推論手法を提案する。
本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。
いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
論文 参考訳(メタデータ) (2022-02-25T16:35:26Z) - Solving weakly supervised regression problem using low-rank manifold
regularization [77.34726150561087]
我々は弱い教師付き回帰問題を解く。
weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。
数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
論文 参考訳(メタデータ) (2021-04-13T23:21:01Z) - On Application of Block Kaczmarz Methods in Matrix Factorization [2.335152769484957]
行列分解のための共通交互スキームにおいて、最小二乗のサブルーチンを置換するブロックKaczmarzソルバについて議論する。
実行時と動作中のメモリ要件のごく一部に対して、最小二乗問題の解法に匹敵するソリューションを生成するブロックサイズを見つけます。
論文 参考訳(メタデータ) (2020-10-20T21:29:50Z) - Effective Dimension Adaptive Sketching Methods for Faster Regularized
Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。
我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文 参考訳(メタデータ) (2020-06-10T15:00:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。