論文の概要: One Backpropagation in Two Tower Recommendation Models

• arxiv url: http://arxiv.org/abs/2403.18227v4
• Date: Tue, 08 Oct 2024 02:24:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 14:01:47.178750
• Title: One Backpropagation in Two Tower Recommendation Models
• Title（参考訳）: 2つの塔推薦モデルにおける1つのバックプロパゲーション
• Authors: Erjia Chen, Bang Wang,
• Abstract要約: 4つのビルディングモジュールは、ユーザイットエンコーディング、ネガティブサンプリング、損失計算、バックプロパゲーション更新というモデルで識別できる。 本稿では, 標準勾配のバックプロパゲーションを維持しつつ, 利用者のバックプロパゲーションを遮断する新しいバックプロパゲーション更新戦略を提案する。
• 参考スコア（独自算出の注目度）: 10.052074659955382
• License:
• Abstract: Recent years have witnessed extensive researches on developing two tower recommendation models for relieving information overload. Four building modules can be identified in such models, namely, user-item encoding, negative sampling, loss computing and back-propagation updating. To the best of our knowledge, existing algorithms have researched only on the first three modules, yet neglecting the backpropagation module. They all adopt a kind of two backpropagation strategy, which are based on an implicit assumption of equally treating users and items in the training phase. In this paper, we challenge such an equal training assumption and propose a novel one backpropagation updating strategy, which keeps the normal gradient backpropagation for the item encoding tower, but cuts off the backpropagation for the user encoding tower. Instead, we propose a moving-aggregation updating strategy to update a user encoding in each training epoch. Except the proposed backpropagation updating module, we implement the other three modules with the most straightforward choices. Experiments on four public datasets validate the effectiveness and efficiency of our model in terms of improved recommendation performance and reduced computation overload over the state-of-the-art competitors.
• Abstract（参考訳）: 近年、情報過負荷を緩和する2つのタワーレコメンデーションモデルの開発に関する広範な研究が見られた。 4つのビルディングモジュールは、ユーザイットエンコーディング、ネガティブサンプリング、損失計算、バックプロパゲーション更新というモデルで識別できる。 我々の知る限りでは、既存のアルゴリズムは最初の3つのモジュールについてのみ研究しており、バックプロパゲーションモジュールは無視されている。 彼らはそれぞれ、トレーニングフェーズにおけるユーザとアイテムを平等に扱うという暗黙の仮定に基づいて、一種の2つのバックプロパゲーション戦略を採用しています。 本稿では、このようなトレーニングの仮定に挑戦し、アイテムエンコーディングタワーの通常の勾配バックプロパゲーションを維持する新しい1つのバックプロパゲーション更新戦略を提案するが、ユーザエンコーディングタワーのバックプロパゲーションを遮断する。 代わりに、各トレーニングエポックにおけるユーザエンコーディングを更新するための移動集約更新戦略を提案する。 提案されているバックプロパゲーション更新モジュールを除いて、最も簡単な選択で他の3つのモジュールを実装します。 4つの公開データセットの実験は、推奨性能の改善と、最先端の競合相手に対する計算負荷の低減の観点から、我々のモデルの有効性と効率を検証した。

関連論文リスト

• Dual Test-time Training for Out-of-distribution Recommender System [91.15209066874694]
  DT3ORと呼ばれるOODレコメンデーションのための新しいDual Test-Time-Trainingフレームワークを提案する。 DT3ORでは、テスト期間中にモデル適応機構を導入し、リコメンデーションモデルを慎重に更新する。 我々の知る限りでは、テストタイムトレーニング戦略を通じてOODレコメンデーションに対処する最初の研究である。
  論文  参考訳（メタデータ） (2024-07-22T13:27:51Z)
• Combining Denoising Autoencoders with Contrastive Learning to fine-tune Transformer Models [0.0]
  本研究は,分類タスクのベースモデルを調整するための3段階手法を提案する。 我々は,DAE(Denoising Autoencoder)を用いたさらなるトレーニングを行うことで,モデルの信号をデータ配信に適用する。 さらに、教師付きコントラスト学習のための新しいデータ拡張手法を導入し、不均衡なデータセットを修正する。
  論文  参考訳（メタデータ） (2024-05-23T11:08:35Z)
• Jointly Training and Pruning CNNs via Learnable Agent Guidance and Alignment [69.33930972652594]
  本稿では,CNNモデルの重みと構造的プーン構造を協調的に学習するための新しい構造的プルーニング手法を提案する。 本手法の中核となる要素は強化学習(RL)エージェントであり,その動作がCNNモデルの階層のプルーニング比を決定する。 我々は,モデルの重みとエージェントのポリシーを反復的に訓練し,共同訓練と刈り取りを行う。
  論文  参考訳（メタデータ） (2024-03-28T15:22:29Z)
• Personalized Negative Reservoir for Incremental Learning in Recommender Systems [22.227137206517142]
  レコメンダシステムはオンラインプラットフォームにおいて不可欠な部分となっている。 トレーニングデータの量は毎日増加しており、ユーザインタラクションの数は常に増加しています。 より大きな、より表現力のあるモデルの探索は、ユーザーエクスペリエンスを改善するために必要となる。
  論文  参考訳（メタデータ） (2024-03-06T19:08:28Z)
• Defense Against Model Extraction Attacks on Recommender Systems [53.127820987326295]
  本稿では、モデル抽出攻撃に対するリコメンデータシステムに対する防御のために、グラディエントベースのランキング最適化(GRO)を導入する。 GROは、攻撃者の代理モデルの損失を最大化しながら、保護対象モデルの損失を最小限にすることを目的としている。 その結果,モデル抽出攻撃に対するGROの防御効果は良好であった。
  論文  参考訳（メタデータ） (2023-10-25T03:30:42Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• PRECODE - A Generic Model Extension to Prevent Deep Gradient Leakage [0.8029049649310213]
  ニューラルネットワークの協調トレーニングは、異なるクライアント間で勾配情報を交換することで、分散データを活用する。 プライバシーを高めるために勾配摂動技術が提案されているが、モデル性能の低下、収束時間の増加、データ要求の増加といったコストが伴う。 任意のモデルアーキテクチャの汎用拡張として使用できるPRivacy EnhanCing mODulEであるPrepreCODEを紹介する。
  論文  参考訳（メタデータ） (2021-08-10T14:43:17Z)
• A Practical Incremental Method to Train Deep CTR Models [37.54660958085938]
  本稿では,3つの分離モジュールからなる深部CTRモデルを訓練するための実用的なインクリメンタル手法を提案する。 提案手法は従来のバッチモード学習と同等の性能を達成でき,訓練効率も向上する。
  論文  参考訳（メタデータ） (2020-09-04T12:35:42Z)
• S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization [104.87483578308526]
  本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。 そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。 6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T11:44:10Z)
• ADER: Adaptively Distilled Exemplar Replay Towards Continual Learning for Session-based Recommendation [28.22402119581332]
  セッションベースのレコメンデーションは最近、プライバシーの懸念が高まり、注目を集めている。 本稿では,従来のトレーニングサンプルを定期的に再生することで,ADER(Adaptively Distilled Exemplar Replay)と呼ばれる手法を提案する。 ADERは他のベースラインを一貫して上回り、更新サイクル毎にすべての履歴データを使用してメソッドを上回ります。
  論文  参考訳（メタデータ） (2020-07-23T13:19:53Z)
• Self-Supervised Reinforcement Learning for Recommender Systems [77.38665506495553]
  逐次リコメンデーションタスクのための自己指導型強化学習を提案する。 提案手法は,2つの出力層を持つ標準レコメンデーションモデルを強化する。 このようなアプローチに基づいて、自己監督型Q-ラーニング(SQN)と自己監督型アクター・クライブ(SAC)という2つのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T11:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。