論文の概要: A High-Performance Implementation of Bayesian Matrix Factorization with Limited Communication

• arxiv url: http://arxiv.org/abs/2004.02561v2
• Date: Tue, 14 Apr 2020 07:41:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 05:43:37.300931
• Title: A High-Performance Implementation of Bayesian Matrix Factorization with Limited Communication
• Title（参考訳）: 限定的な通信によるベイズ行列分解の高性能実装
• Authors: Tom Vander Aa, Xiangju Qin, Paul Blomstedt, Roel Wuyts, Wilfried Verachtert, Samuel Kaski
• Abstract要約: 行列分解アルゴリズムは予測の不確実性を定量化し、過度な適合を避けることができる。 計算コストが禁じられているため、大規模なデータには広く使われていない。 スケーラビリティに対する両アプローチの最先端が組み合わさることを示します。
• 参考スコア（独自算出の注目度）: 10.639704288188767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Matrix factorization is a very common machine learning technique in recommender systems. Bayesian Matrix Factorization (BMF) algorithms would be attractive because of their ability to quantify uncertainty in their predictions and avoid over-fitting, combined with high prediction accuracy. However, they have not been widely used on large-scale data because of their prohibitive computational cost. In recent work, efforts have been made to reduce the cost, both by improving the scalability of the BMF algorithm as well as its implementation, but so far mainly separately. In this paper we show that the state-of-the-art of both approaches to scalability can be combined. We combine the recent highly-scalable Posterior Propagation algorithm for BMF, which parallelizes computation of blocks of the matrix, with a distributed BMF implementation that users asynchronous communication within each block. We show that the combination of the two methods gives substantial improvements in the scalability of BMF on web-scale datasets, when the goal is to reduce the wall-clock time.
• Abstract（参考訳）: 行列分解は、レコメンダシステムにおいて非常に一般的な機械学習技術である。 ベイズ行列分解(BMF)アルゴリズムは、予測の不確実性を定量化し、過剰適合を避ける能力と高い予測精度を併せ持つため、魅力的である。 しかし、計算コストの制限のため、大規模データでは広く使われていない。 近年,BMFアルゴリズムのスケーラビリティ向上と実装の両面において,コスト削減への取り組みがなされている。 本稿では,両手法のスケーラビリティを両立させることが可能であることを示す。 本稿では,行列のブロックの計算を並列化するBMFアルゴリズムと,各ブロック内で非同期通信を行う分散型BMF実装を組み合わせる。 この2つの手法を組み合わせることで,壁時計時間の短縮を目標として,webスケールデータセットにおけるbmfのスケーラビリティが大幅に向上することを示す。

関連論文リスト

• Federated Binary Matrix Factorization using Proximal Optimization [43.01276597844757]
  本稿では,最先端の2値行列分解緩和をBMFに適用する。 提案アルゴリズムは,実世界および合成データの多種多様なセット上で,最先端のBMF手法のフェデレーションスキームにおいて,品質と有効性において優れることを示す。
  論文  参考訳（メタデータ） (2024-07-01T20:10:24Z)
• Accelerating Matrix Factorization by Dynamic Pruning for Fast Recommendation [0.49399484784577985]
  MF(Matrix Factorization)は、リコメンデーションシステム(RS)のための協調フィルタリングアルゴリズムである。 現在のRSではユーザ/イテムが劇的に増加しているため、MFモデルのトレーニングに要する計算の複雑さは大幅に増大している。 我々は、追加の計算資源を誘導することなく、MFを高速化するアルゴリズム手法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T16:27:33Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• Statistically Optimal K-means Clustering via Nonnegative Low-rank Semidefinite Programming [25.210724274471914]
  K$-meansクラスタリングは、大規模なデータセットのパターンを識別する機械学習手法として広く使用されている。 本稿では,非負の低ランクな$K$-means分解問題を解くNMFライクなアルゴリズムについて考察する。 提案アルゴリズムは,スケーラビリティを維持しつつ,既存の最先端技術と比較して,誤クラスタリングエラーを著しく小さくする。
  論文  参考訳（メタデータ） (2023-05-29T00:39:55Z)
• Unitary Approximate Message Passing for Matrix Factorization [90.84906091118084]
  行列分解 (MF) を一定の制約で考慮し, 様々な分野の応用を見いだす。 我々は,効率の良いメッセージパッシング実装であるUAMPMFを用いて,MFに対するベイズ的アプローチを開発する。 UAMPMFは、回復精度、ロバスト性、計算複雑性の観点から、最先端のアルゴリズムを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2022-07-31T12:09:32Z)
• Asymmetric Scalable Cross-modal Hashing [51.309905690367835]
  クロスモーダルハッシュは、大規模なマルチメディア検索問題を解決する方法として成功している。 これらの問題に対処する新しい非対称スケーラブルクロスモーダルハッシュ(ASCMH)を提案する。 我々のASCMHは、最先端のクロスモーダルハッシュ法よりも精度と効率の点で優れています。
  論文  参考訳（メタデータ） (2022-07-26T04:38:47Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• An Adaptive Memory Multi-Batch L-BFGS Algorithm for Neural Network Training [0.951828574518325]
  近年,大規模なニューラルネットワークトレーニング問題に対して,BFGSアルゴリズムの限られたメモリバージョンが注目されている。 MB-AMと呼ばれるマルチバッチL-BFGSアルゴリズムを提案し,曲率情報に対する信頼度を徐々に高める。
  論文  参考訳（メタデータ） (2020-12-14T11:40:41Z)
• Efficient semidefinite-programming-based inference for binary and multi-class MRFs [83.09715052229782]
  分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。 一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
  論文  参考訳（メタデータ） (2020-12-04T15:36:29Z)
• Positive Semidefinite Matrix Factorization: A Connection with Phase Retrieval and Affine Rank Minimization [71.57324258813674]
  位相探索(PR)とアフィンランク最小化(ARM)アルゴリズムに基づいてPSDMFアルゴリズムを設計可能であることを示す。 このアイデアに触発され、反復的ハードしきい値(IHT)に基づくPSDMFアルゴリズムの新たなファミリーを導入する。
  論文  参考訳（メタデータ） (2020-07-24T06:10:19Z)
• Federated Matrix Factorization: Algorithm Design and Application to Data Clustering [18.917444528804463]
  データプライバシに関する近年の要求は、大規模で異種ネットワークにおける新たな分散学習パラダイムとして、フェデレートラーニング(FL)を提唱している。 我々は,モデル平均化と勾配共有原理に基づく2つの新しいFedMFアルゴリズム,すなわちFedMAvgとFedMGSを提案する。
  論文  参考訳（メタデータ） (2020-02-12T11:48:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。