論文の概要: Efficient Mixed Dimension Embeddings for Matrix Factorization

• arxiv url: http://arxiv.org/abs/2205.11248v1
• Date: Wed, 18 May 2022 11:49:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-29 20:24:08.173282
• Title: Efficient Mixed Dimension Embeddings for Matrix Factorization
• Title（参考訳）: マトリックスファクトリゼーションのための高効率混合次元埋め込み
• Authors: Dmitrii Beloborodov, Andrei Zimovnov, Petr Molodyk, Dmitrii Kirillov (Yandex)
• Abstract要約: 本稿では,混合次元埋め込みを用いた2つの行列分解モデルを提案する。 これらのモデルは最小二乗の交互に訓練することができるため、非常に並列な実装が容易である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the prominence of neural network approaches in the field of recommender systems, simple methods such as matrix factorization with quadratic loss are still used in industry for several reasons. These models can be trained with alternating least squares, which makes them easy to implement in a massively parallel manner, thus making it possible to utilize billions of events from real-world datasets. Large-scale recommender systems need to account for severe popularity skew in the distributions of users and items, so a lot of research is focused on implementing sparse, mixed dimension or shared embeddings to reduce both the number of parameters and overfitting on rare users and items. In this paper we propose two matrix factorization models with mixed dimension embeddings, which can be optimized in a massively parallel fashion using the alternating least squares approach.
• Abstract（参考訳）: 推薦システムの分野におけるニューラルネットワークアプローチの優位性にもかかわらず、行列因数分解や二次的損失といった単純な手法は、いくつかの理由からまだ業界で使われている。 これらのモデルは、最小の平方形を交互にトレーニングすることで、非常に並列に実装できるため、現実世界のデータセットから数十億のイベントを活用できる。 大規模レコメンダシステムでは,ユーザとアイテムの分布に厳格な人気があるため,パラメータ数とレアユーザとアイテムのオーバーフィットを低減すべく,スパースや混合次元,あるいは共有埋め込みの実装に多くの研究が集中している。 本稿では, 交互最小二乗法を用いて並列に最適化できる, 混合次元埋め込みを持つ2つの行列分解モデルを提案する。

関連論文リスト

• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• Towards a Fairer Non-negative Matrix Factorization [6.069820038869034]
  非負行列因子化(NMF)がデータ群の表現に偏りをもたらすかを検討する。 異なるグループに対する最大再構成損失を最小化するFairer-NMFという手法を提案する。
  論文  参考訳（メタデータ） (2024-11-14T23:34:38Z)
• Two Sparse Matrices are Better than One: Sparsifying Neural Networks with Double Sparse Factorization [0.0]
  重み行列を2つのスパース行列に分解するDouble Sparse Factorization(DSF)を提案する。 提案手法は最先端の結果を達成し,従来のニューラルネットワークのスペーサー化を可能にした。
  論文  参考訳（メタデータ） (2024-09-27T15:48:39Z)
• Improved Diversity-Promoting Collaborative Metric Learning for Recommendation [127.08043409083687]
  CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。 本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。 textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T07:44:48Z)
• Useful Compact Representations for Data-Fitting [0.0]
  我々はベクトルの選択によってパラメータ化される新しいコンパクト表現を開発し、特別な選択のために既存のよく知られた公式に還元する。 本研究では, 大規模固有値計算, テンソル因子分解, 非線形回帰に対するコンパクト表現の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T19:43:00Z)
• Clustering based on Mixtures of Sparse Gaussian Processes [6.939768185086753]
  低次元の組込み空間を使ってデータをクラスタする方法は、マシンラーニングにおいて依然として難しい問題である。 本稿では,クラスタリングと次元還元の両立を目的とした共同定式化を提案する。 我々のアルゴリズムはスパースガウス過程の混合に基づいており、スパースガウス過程混合クラスタリング(SGP-MIC)と呼ばれる。
  論文  参考訳（メタデータ） (2023-03-23T20:44:36Z)
• Asymmetric Scalable Cross-modal Hashing [51.309905690367835]
  クロスモーダルハッシュは、大規模なマルチメディア検索問題を解決する方法として成功している。 これらの問題に対処する新しい非対称スケーラブルクロスモーダルハッシュ(ASCMH)を提案する。 我々のASCMHは、最先端のクロスモーダルハッシュ法よりも精度と効率の点で優れています。
  論文  参考訳（メタデータ） (2022-07-26T04:38:47Z)
• Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
  本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。 提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
  論文  参考訳（メタデータ） (2022-04-23T02:45:55Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• On Application of Block Kaczmarz Methods in Matrix Factorization [2.335152769484957]
  行列分解のための共通交互スキームにおいて、最小二乗のサブルーチンを置換するブロックKaczmarzソルバについて議論する。 実行時と動作中のメモリ要件のごく一部に対して、最小二乗問題の解法に匹敵するソリューションを生成するブロックサイズを見つけます。
  論文  参考訳（メタデータ） (2020-10-20T21:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。