論文の概要: Lightweight Self-Attentive Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2108.11333v1
• Date: Wed, 25 Aug 2021 16:46:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-26 12:53:33.488815
• Title: Lightweight Self-Attentive Sequential Recommendation
• Title（参考訳）: 軽量自己認識型シーケンスレコメンデーション
• Authors: Yang Li, Tong Chen, Peng-Fei Zhang, Hongzhi Yin
• Abstract要約: シーケンシャルレコメンデーションのために,新しい軽量自己注意ネットワーク(LSAN)を導入する。 元の埋め込み行列を積極的に圧縮するために、LSANは構成埋め込みの概念を利用する。 本稿では,各項目の内在的ダイナミクスを考慮し,時間的文脈認識型埋め込み合成スキームを提案する。
• 参考スコア（独自算出の注目度）: 30.048184102259494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep neural networks (DNNs) have greatly facilitated the development of sequential recommender systems by achieving state-of-the-art recommendation performance on various sequential recommendation tasks. Given a sequence of interacted items, existing DNN-based sequential recommenders commonly embed each item into a unique vector to support subsequent computations of the user interest. However, due to the potentially large number of items, the over-parameterised item embedding matrix of a sequential recommender has become a memory bottleneck for efficient deployment in resource-constrained environments, e.g., smartphones and other edge devices. Furthermore, we observe that the widely-used multi-head self-attention, though being effective in modelling sequential dependencies among items, heavily relies on redundant attention units to fully capture both global and local item-item transition patterns within a sequence. In this paper, we introduce a novel lightweight self-attentive network (LSAN) for sequential recommendation. To aggressively compress the original embedding matrix, LSAN leverages the notion of compositional embeddings, where each item embedding is composed by merging a group of selected base embedding vectors derived from substantially smaller embedding matrices. Meanwhile, to account for the intrinsic dynamics of each item, we further propose a temporal context-aware embedding composition scheme. Besides, we develop an innovative twin-attention network that alleviates the redundancy of the traditional multi-head self-attention while retaining full capacity for capturing long- and short-term (i.e., global and local) item dependencies. Comprehensive experiments demonstrate that LSAN significantly advances the accuracy and memory efficiency of existing sequential recommenders.
• Abstract（参考訳）: 現代のディープニューラルネットワーク(DNN)は、様々なシーケンシャルレコメンデーションタスクで最先端のレコメンデーションパフォーマンスを達成することによって、シーケンシャルレコメンデーションシステムの開発を大いに促進してきた。 相互作用したアイテムのシーケンスが与えられた場合、既存のDNNベースのシーケンシャルレコメンデータは、各アイテムを単一のベクトルに埋め込んで、その後のユーザの関心事の計算をサポートする。 しかし、潜在的に多数のアイテムがあるため、シーケンシャルレコメンデータの過剰なパラメータのアイテム埋め込みマトリックスは、例えばスマートフォンや他のエッジデバイスのようなリソース制約のある環境での効率的なデプロイのためのメモリボトルネックとなっている。 さらに,各項目間の連続的依存関係のモデル化に有効な多面的自己注意は,グローバルおよび局所的な項目・項目遷移パターンを十分に捉えるために,冗長な注意単位に大きく依存している。 本稿では, 逐次レコメンデーションのための軽量自己拡張型ネットワーク(LSAN)について紹介する。 元の埋め込み行列を積極的に圧縮するために、lsanは合成埋め込みの概念を活用し、各埋め込みは、実質的に小さい埋め込み行列から得られる選択された基底埋め込みベクトルのグループをマージすることによって構成される。 一方,各項目の内在的ダイナミクスを考慮するため,時間的文脈認識型埋め込み合成スキームを提案する。 さらに,従来の多面的自己注意の冗長性を軽減しつつ,長期的・短期的(グローバル的・ローカルな)アイテム依存をフルに把握する,革新的なツインアテンションネットワークを構築した。 総合実験により、LSANは既存のシーケンシャルレコメンデータの精度とメモリ効率を大幅に向上することが示された。

関連論文リスト

• GLINT-RU: Gated Lightweight Intelligent Recurrent Units for Sequential Recommender Systems [24.758106816702767]
  本稿では,新しい効率的なシーケンシャルレコメンデーションフレームワークGLINT-RUを提案する。 推論速度を加速するために、GRU(Gated Recurrent Units)モジュールを使用する。 我々のフレームワークは、既存のベースラインよりも優れた予測速度と予測精度を実現している。
  論文  参考訳（メタデータ） (2024-06-06T13:55:55Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• MISSRec: Pre-training and Transferring Multi-modal Interest-aware Sequence Representation for Recommendation [61.45986275328629]
  逐次レコメンデーションのためのマルチモーダル事前学習・転送学習フレームワークであるMISSRecを提案する。 ユーザ側ではトランスフォーマーベースのエンコーダデコーダモデルを設計し、コンテキストエンコーダがシーケンスレベルのマルチモーダルユーザ興味を捉えることを学習する。 候補項目側では,ユーザ適応項目表現を生成するために動的融合モジュールを採用する。
  論文  参考訳（メタデータ） (2023-08-22T04:06:56Z)
• Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
  本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。 3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-19T16:25:43Z)
• Generative Slate Recommendation with Reinforcement Learning [49.75985313698214]
  強化学習アルゴリズムは、レコメンデータシステムのユーザエンゲージメントを最適化するために使用することができる。 しかし、RLアプローチはスレートレコメンデーションシナリオでは難解である。 この設定では、アクションはアイテムの組み合わせを含むことができるスレートに対応する。 本研究では,変分オートエンコーダによって学習された連続低次元ラテント空間におけるスレートの符号化を提案する。 我々は、(i)以前の作業で要求される仮定を緩和し、(ii)完全なスレートをモデル化することで、アクション選択の品質を向上させることができる。
  論文  参考訳（メタデータ） (2023-01-20T15:28:09Z)
• Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation [33.97708796846252]
  短期および長期のクロスタイプの振る舞い依存を捉えるために,新しいMBHT(Multi-Behavior Hypergraph-enhanced Transformer framework)を導入する。 具体的には、多スケールトランスフォーマーは、細粒度および粗粒度から振舞い対応のシーケンシャルパターンを共同符号化するために、低ランクの自己アテンションを備える。
  論文  参考訳（メタデータ） (2022-07-12T15:07:21Z)
• From STL Rulebooks to Rewards [4.859570041295978]
  本稿では,多目的の強化学習のための報酬形成のための原則的アプローチを提案する。 まずSTLに新しい定量的セマンティクスを組み、個々の要求を自動的に評価する。 次に,複数の要件の評価を1つの報酬に体系的に組み合わせる手法を開発した。
  論文  参考訳（メタデータ） (2021-10-06T14:16:59Z)
• Sparse-Interest Network for Sequential Recommendation [78.83064567614656]
  本稿では,シーケンシャルレコメンデーションのためのtextbfSparse textbfInterest textbfNEtwork(SINE)を提案する。 我々のスパース関心モジュールは、大きなコンセプトプールから各ユーザに対してスパースの概念セットを適応的に推測することができる。 SINEは最先端の手法よりも大幅に改善できる。
  論文  参考訳（メタデータ） (2021-02-18T11:03:48Z)
• Sequential Recommendation with Self-Attentive Multi-Adversarial Network [101.25533520688654]
  逐次レコメンデーションにおける文脈情報の影響を明示的にモデル化するためのMFGAN(Multi-Factor Generative Adversarial Network)を提案する。 当社のフレームワークは,複数種類の因子情報を組み込むことが柔軟であり,各因子が推奨決定にどのように貢献するかを時間とともに追跡することができる。
  論文  参考訳（メタデータ） (2020-05-21T12:28:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。