論文の概要: Fast Variational AutoEncoder with Inverted Multi-Index for Collaborative Filtering

• arxiv url: http://arxiv.org/abs/2109.05773v1
• Date: Mon, 13 Sep 2021 08:31:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 15:12:36.163376
• Title: Fast Variational AutoEncoder with Inverted Multi-Index for Collaborative Filtering
• Title（参考訳）: 逆多重インデックスを用いた高速変分オートエンコーダによる協調フィルタリング
• Authors: Jin Chen, Binbin Jin, Xu Huang, Defu Lian, Kai Zheng, Enhong Chen
• Abstract要約: 変分オートエンコーダ (VAE) は, 協調フィルタリングの非線形手法として拡張されている。 内積に基づくソフトマックス確率を逆多重インデックスに基づいて分解する。 FastVAEはサンプリング品質と効率の両面で最先端のベースラインを上回っます。
• 参考スコア（独自算出の注目度）: 59.349057602266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational AutoEncoder (VAE) has been extended as a representative nonlinear method for collaborative filtering. However, the bottleneck of VAE lies in the softmax computation over all items, such that it takes linear costs in the number of items to compute the loss and gradient for optimization. This hinders the practical use due to millions of items in real-world scenarios. Importance sampling is an effective approximation method, based on which the sampled softmax has been derived. However, existing methods usually exploit the uniform or popularity sampler as proposal distributions, leading to a large bias of gradient estimation. To this end, we propose to decompose the inner-product-based softmax probability based on the inverted multi-index, leading to sublinear-time and highly accurate sampling. Based on the proposed proposals, we develop a fast Variational AutoEncoder (FastVAE) for collaborative filtering. FastVAE can outperform the state-of-the-art baselines in terms of both sampling quality and efficiency according to the experiments on three real-world datasets.
• Abstract（参考訳）: 変分オートエンコーダ (VAE) は協調フィルタリングの非線形手法として拡張されている。 しかしながら、VAEのボトルネックは全ての項目に対するソフトマックス計算にあり、最適化の損失と勾配を計算するためにアイテム数に線形コストがかかる。 これは、現実世界のシナリオで何百万ものアイテムがあるため、実用性を妨げます。 重要度サンプリングは,サンプルソフトマックスを導出する有効な近似法である。 しかし、既存の手法は通常、一様または人気サンプルを提案分布として利用し、勾配推定の大きなバイアスをもたらす。 そこで本研究では, 逆マルチインデックスに基づく内積ベースソフトマックス確率を分解し, サブリニア時間および高精度サンプリングを実現する。 提案手法に基づいて,協調フィルタリングのための高速変分オートエンコーダ(FastVAE)を開発した。 実世界の3つのデータセットの実験によると、FastVAEはサンプリング品質と効率の両方で最先端のベースラインを上回ります。

関連論文リスト

• Derivative-Free Optimization via Finite Difference Approximation: An Experimental Study [1.3886390523644807]
  微分自由最適化(DFO)は、関数評価のみをオラクルで利用できるような複雑な最適化問題の解決に不可欠である。 2つの古典的なイテレーションアプローチは、Kiefer-Wolfowitz (KW) と同時摂動近似 (SPSA) アルゴリズムである。 本稿では,これらの手法の総合的な比較実験を行う。
  論文  参考訳（メタデータ） (2024-10-31T18:07:44Z)
• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Enhanced Federated Optimization: Adaptive Unbiased Client Sampling with Reduced Variance [37.646655530394604]
  Federated Learning(FL)は、ローカルデータを収集することなく、複数のデバイスでグローバルモデルをトレーニングする分散学習パラダイムである。 独立サンプリング手法を用いて,最初の適応型クライアントサンプリング器K-Vibを提案する。 K-Vibは、一連の通信予算の中で、後悔すべき$tildemathcalObig(Nfrac13Tfrac23/Kfrac43big)$の線形スピードアップを達成する。
  論文  参考訳（メタデータ） (2023-10-04T10:08:01Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• One-Dimensional Deep Image Prior for Curve Fitting of S-Parameters from Electromagnetic Solvers [57.441926088870325]
  Deep Image Prior(ディープ・イメージ・プライオリ、ディープ・イメージ・プライオリ、DIP)は、ランダムなd畳み込みニューラルネットワークの重みを最適化し、ノイズや過度な測定値からの信号に適合させる技術である。 本稿では,Vector Fitting (VF) の実装に対して,ほぼすべてのテスト例において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-06T20:28:37Z)
• Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs [60.58434523646137]
  大規模言語モデル(LLM)からの出力の正確性を改善するための一般的なアプローチは、自己整合性である。 コスト効率のよいモデルに依存しない手法であるAdaptive-Consistencyを導入し,各質問のサンプル数を動的に調整する。 実験の結果,Adaptive-Consistencyはサンプル予算を最大7.9倍に削減し,平均精度は0.1%以下であった。
  論文  参考訳（メタデータ） (2023-05-19T17:49:25Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Model Selection for Bayesian Autoencoders [25.619565817793422]
  本稿では,オートエンコーダの出力と経験的データ分布との分散スライス-ワッサーシュタイン距離を最適化することを提案する。 我々のBAEは、フレキシブルなディリクレ混合モデルを潜在空間に適合させることにより、生成モデルに変換する。 我々は,教師なしの学習課題に対する膨大な実験的キャンペーンを質的かつ定量的に評価し,先行研究が重要となる小規模データ体制において,我々のアプローチが最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-11T08:55:00Z)
• Multitarget Tracking with Transformers [21.81266872964314]
  マルチターゲットトラッキング(MTT)は、ノイズの多い測定を使用して未知のオブジェクトの数の状態を追跡する問題です。 本稿では,Transformer アーキテクチャに基づく MTT の高性能深層学習手法を提案する。
  論文  参考訳（メタデータ） (2021-04-01T19:14:55Z)
• Efficient Model-Based Collaborative Filtering with Fast Adaptive PCA [4.878057307346225]
  高速適応ランダム化特異値分解(SVD)を用いたモデルベース協調フィルタリング(CF)手法を提案する。 適応型PCAのための新しい終端機構を提案し, ほぼ最適な予測精度を達成するための複数の潜時因子を自動決定する。 提案したモデルベースCFアプローチは,20MレーティングでMatlab MovieLenデータを効率的に処理し,正規化因数分解に基づくアプローチよりも10倍以上のスピードアップを示す。
  論文  参考訳（メタデータ） (2020-09-04T15:32:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。