論文の概要: Efficient user history modeling with amortized inference for deep learning recommendation models

• arxiv url: http://arxiv.org/abs/2412.06924v1
• Date: Mon, 09 Dec 2024 19:10:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:37:35.527583
• Title: Efficient user history modeling with amortized inference for deep learning recommendation models
• Title（参考訳）: 深層学習レコメンデーションモデルのための償却推論を用いた効率的なユーザ履歴モデリング
• Authors: Lars Hertel, Neil Daftary, Fedor Borisyuk, Aman Gupta, Rahul Mazumder,
• Abstract要約: ディープラーニングレコメンデーションモデル(DLRM)におけるトランスフォーマーエンコーダを用いたユーザ履歴モデリングについて検討する。 我々は,クロスアテンションを付加したアタッチメントが結合と同等に動作し,アモート化が推論コストを著しく低減することを示す実験結果を通して示す。 我々は、このモデルをLinkedIn Feed and Adsサーフェスにデプロイすることで、非アモート化推論と比較して、アモート化は遅延を30%削減する。
• 参考スコア（独自算出の注目度）: 12.5344535028362
• License:
• Abstract: We study user history modeling via Transformer encoders in deep learning recommendation models (DLRM). Such architectures can significantly improve recommendation quality, but usually incur high latency cost necessitating infrastructure upgrades or very small Transformer models. An important part of user history modeling is early fusion of the candidate item and various methods have been studied. We revisit early fusion and compare concatenation of the candidate to each history item against appending it to the end of the list as a separate item. Using the latter method, allows us to reformulate the recently proposed amortized history inference algorithm M-FALCON \cite{zhai2024actions} for the case of DLRM models. We show via experimental results that appending with cross-attention performs on par with concatenation and that amortization significantly reduces inference costs. We conclude with results from deploying this model on the LinkedIn Feed and Ads surfaces, where amortization reduces latency by 30\% compared to non-amortized inference.
• Abstract（参考訳）: 本研究では,ディープラーニングレコメンデーションモデル(DLRM)におけるトランスフォーマーエンコーダを用いたユーザ履歴モデリングについて検討する。 このようなアーキテクチャはリコメンデーションの品質を大幅に改善するが、通常、インフラのアップグレードや非常に小さなTransformerモデルを必要とする高いレイテンシコストが発生する。 ユーザ履歴モデリングの重要な部分は、候補項目の早期統合であり、様々な方法が研究されている。 我々は、早期融合を再考し、候補と各履歴項目との結合を、リストの最後に別の項目として追加することに対して比較する。 後者の手法を用いることで、DLRMモデルの場合、最近提案された償却履歴推論アルゴリズム M-FALCON \cite{zhai2024actions} を再構成することができる。 我々は,クロスアテンションを付加したアタッチメントが結合と同等に動作し,アモート化が推論コストを著しく低減することを示す実験結果を通して示す。 我々は、このモデルをLinkedIn Feed and Adsサーフェスにデプロイすることで、非アモート化推論と比較して、アモート化が遅延を30倍減らすという結果を得た。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• MaTrRec: Uniting Mamba and Transformer for Sequential Recommendation [6.74321828540424]
  ユーザ行動系列内の動的嗜好や依存関係を分析し,パーソナライズされたレコメンデーションを提供することを目的としている。 状態空間モデル(SSM)表現モデルであるMambaに着想を得た結果,Mambaの推奨効率は短い相互作用シーケンスで制限されることがわかった。 我々は,MambaとTransformerの強みを組み合わせた新しいモデルMaTrRecを提案する。
  論文  参考訳（メタデータ） (2024-07-27T12:07:46Z)
• Graph Masked Autoencoder for Sequential Recommendation [10.319298705782058]
  本稿では,自動エンコーダ付きシーケンシャルレコメンダシステム(MAERec, Graph Masked AutoEncoder-enhanced Sequence Recommender System)を提案する。 提案手法は最先端のベースラインモデルを大幅に上回り,データノイズや空間性に対するより正確な表現を学習することができる。
  論文  参考訳（メタデータ） (2023-05-08T10:57:56Z)
• Maintaining Stability and Plasticity for Predictive Churn Reduction [8.971668467496055]
  我々は,累積モデル組合せ (AMC) という解を提案する。 AMCは一般的な手法であり、モデルやデータ特性に応じてそれぞれ独自の利点を持ついくつかの事例を提案する。
  論文  参考訳（メタデータ） (2023-05-06T20:56:20Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization [104.87483578308526]
  本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。 そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。 6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T11:44:10Z)
• Recent Developments Combining Ensemble Smoother and Deep Generative Networks for Facies History Matching [58.720142291102135]
  本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。 本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
  論文  参考訳（メタデータ） (2020-05-08T21:32:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。