論文の概要: To Copy, or not to Copy; That is a Critical Issue of the Output Softmax Layer in Neural Sequential Recommenders

• arxiv url: http://arxiv.org/abs/2310.14079v1
• Date: Sat, 21 Oct 2023 18:04:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 02:03:18.776267
• Title: To Copy, or not to Copy; That is a Critical Issue of the Output Softmax Layer in Neural Sequential Recommenders
• Title（参考訳）: コピーする、コピーしない、という問題は、ニューラルネットワークシーケンシャルリコメンデータにおける出力ソフトマックス層の重大な問題である
• Authors: Haw-Shiuan Chang, Nikhil Agarwal, Andrew McCallum
• Abstract要約: 本研究では,単一隠れ状態埋め込みと静的アイテム埋め込みを出力ソフトマックス層に埋め込むという問題の原因を明らかにする。 我々は、最近提案されたSoftmax-CPRのようなソフトマックス代替案を逐次レコメンデーションタスクに適用し、新しいソフトマックスアーキテクチャが、いつコピーするか、いつ入力シーケンスからアイテムを除外するかを学ぶ際に、ニューラルエンコーダの能力を解き放つことを示した。
• 参考スコア（独自算出の注目度）: 48.8643117818312
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies suggest that the existing neural models have difficulty handling repeated items in sequential recommendation tasks. However, our understanding of this difficulty is still limited. In this study, we substantially advance this field by identifying a major source of the problem: the single hidden state embedding and static item embeddings in the output softmax layer. Specifically, the similarity structure of the global item embeddings in the softmax layer sometimes forces the single hidden state embedding to be close to new items when copying is a better choice, while sometimes forcing the hidden state to be close to the items from the input inappropriately. To alleviate the problem, we adapt the recently-proposed softmax alternatives such as softmax-CPR to sequential recommendation tasks and demonstrate that the new softmax architectures unleash the capability of the neural encoder on learning when to copy and when to exclude the items from the input sequence. By only making some simple modifications on the output softmax layer for SASRec and GRU4Rec, softmax-CPR achieves consistent improvement in 12 datasets. With almost the same model size, our best method not only improves the average NDCG@10 of GRU4Rec in 5 datasets with duplicated items by 10% (4%-17% individually) but also improves 7 datasets without duplicated items by 24% (8%-39%)!
• Abstract（参考訳）: 最近の研究では、既存のニューラルモデルでは逐次レコメンデーションタスクで繰り返し項目を処理するのが困難であることが示唆されている。 しかし、この困難に対する我々の理解はまだ限られている。 本研究では,単一隠れ状態埋め込みと静的アイテム埋め込みを出力ソフトマックス層に埋め込むことにより,この問題の根本原因を特定することにより,この分野を著しく前進させる。 具体的には、ソフトマックス層に埋め込まれたグローバルアイテムの類似性構造は、コピーがよい場合、単一の隠れ状態の埋め込みが新しいアイテムに近づくように強制する一方で、隠された状態が入力からアイテムに不適切に近づくように強制することがある。 この問題を緩和するために、最近提案されたSoftmax-CPRなどのソフトマックス代替案を逐次レコメンデーションタスクに適用し、新しいソフトマックスアーキテクチャが、いつコピーするか、いつ入力シーケンスからアイテムを除外するかを学ぶ際に、ニューラルエンコーダの能力を解き放つことを実証する。 SASRecとGRU4Recの出力ソフトマックス層に簡単な修正を加えるだけで、ソフトマックス-CPRは12のデータセットで一貫した改善を達成できる。 ほぼ同じモデルサイズで、私たちのベストメソッドは、5つのデータセットでGRU4Recの平均NDCG@10を10%(個別に4%-17%)改善するだけでなく、重複アイテムなしで7つのデータセットを24%(8%-39%)改善します!

関連論文リスト

• Revisiting the Architectures like Pointer Networks to Efficiently Improve the Next Word Distribution, Summarization Factuality, and Beyond [37.96043934146189]
  本稿では,ポインタネットワークを簡素化し,単語ごとのリランカを高速化することで,いくつかのソフトマックス代替案を提案する。 GPT-2では,提案手法はソフトマックスの混合よりも有意に効率的かつ効率的である。 T5-Smallに基づく最良の方法は、CNN/DMおよびXSUMデータセットにおいてファクトCCスコアを2ポイント改善し、ブックサム段落レベルのデータセットではMAUVEスコアを30%改善する。
  論文  参考訳（メタデータ） (2023-05-20T21:52:24Z)
• The In-Sample Softmax for Offline Reinforcement Learning [37.37457955279337]
  強化学習(RL)エージェントは、以前に収集したデータのバッチを利用して、合理的な制御ポリシーを抽出することができる。 標準最大演算子はデータセットにない最大作用を選択することができる。 これらの不正確な値からのブートストラップは、過大評価や分散につながる可能性がある。
  論文  参考訳（メタデータ） (2023-02-28T07:55:02Z)
• To Softmax, or not to Softmax: that is the question when applying Active Learning for Transformer Models [24.43410365335306]
  ラベル付きデータセットを取得するための人的労力を減らすためのよく知られたテクニックは、textitActive Learning (AL)である。 本稿では,7つのデータセットに対して8つの選択肢を比較する。 ほとんどのメソッドは真に不確実なサンプル(外れ値)を特定するのに長けており、ラベル付けによってパフォーマンスが低下する。
  論文  参考訳（メタデータ） (2022-10-06T15:51:39Z)
• Sparse-softmax: A Simpler and Faster Alternative Softmax Transformation [2.3813678058429626]
  ソフトマックス関数は、多クラス分類問題に対する人工ニューラルネットワークで広く用いられている。 本稿では,従来のソフトマックスで発生した問題を高次元の分類問題の観点から緩和するために,単純で簡潔なソフトマックス変種であるスパース・ソフトマックスについて実証的研究を行う。
  論文  参考訳（メタデータ） (2021-12-23T09:53:38Z)
• Breaking the Softmax Bottleneck for Sequential Recommender Systems with Dropout and Decoupling [0.0]
  SBRSのSoftmaxボトルネックには、さらに多くの側面があることが示されています。 そこで本研究では,これらの問題を緩和するために,D&D(Dropout and Decoupling)というシンプルな手法を提案する。 本手法は,様々なSoftmaxベースのSBRSアルゴリズムの精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-10-11T16:52:23Z)
• Sparse Attention with Linear Units [60.399814410157425]
  本稿では, ソフトマックスアクティベーションをReLUに置き換えることにより, 注目度を向上する新しい, 簡便な手法を提案する。 我々のモデルはRectified Linear Attention (ReLA)と呼ばれ、以前提案したスパースアテンション機構よりも実装が容易で効率的である。 分析の結果,RELAは高い空間性率と頭部の多様性を達成でき,ソース・ターゲット単語アライメントの精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-14T17:52:38Z)
• Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via Calibrated Dirichlet Prior RNN [98.4713940310056]
  現代パーソナルアシスタントにおける音声言語理解(SLU)の主な課題は、発話から意味概念を抽出することである。 最近の研究では、疑問と回答を収集し、未知のデータを学習し、質問すべきである。 疑わしい監督なしにシーケンスの不確かさをモデル化するために、ソフトマックスベースのスロット充填ニューラルネットワークアーキテクチャを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-16T02:12:30Z)
• Taming GANs with Lookahead-Minmax [63.90038365274479]
  MNIST, SVHN, CIFAR-10, ImageNetによる実験結果から, Lookahead-minmaxとAdam, Exgradientの併用が明らかとなった。 30倍のパラメータと16倍のミニバッチを使用して、クラスラベルを使わずに12.19のFIDを得ることにより、CIFAR-10上でクラス依存のBigGANのパフォーマンスを上回ります。
  論文  参考訳（メタデータ） (2020-06-25T17:13:23Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)
• A Generic Network Compression Framework for Sequential Recommender Systems [71.81962915192022]
  シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。 CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。 大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
  論文  参考訳（メタデータ） (2020-04-21T08:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。