論文の概要: A Systematic Review and Replicability Study of BERT4Rec for Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2207.07483v1
• Date: Fri, 15 Jul 2022 14:09:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-18 17:36:15.757117
• Title: A Systematic Review and Replicability Study of BERT4Rec for Sequential Recommendation
• Title（参考訳）: BERT4Recのシーケンシャルレコメンデーションにおけるシステムレビューと再現性の検討
• Authors: Aleksandr Petrov and Craig Macdonald
• Abstract要約: BERT4RecはTransformerアーキテクチャに基づいたシーケンシャルなレコメンデーションのための効果的なモデルである。 BERT4Recの結果はこれらの出版物では一致していない。 本稿では,Hugging Face Transformersライブラリに基づくBERT4Recの実装を提案する。
• 参考スコア（独自算出の注目度）: 91.02268704681124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: BERT4Rec is an effective model for sequential recommendation based on the Transformer architecture. In the original publication, BERT4Rec claimed superiority over other available sequential recommendation approaches (e.g. SASRec), and it is now frequently being used as a state-of-the art baseline for sequential recommendations. However, not all subsequent publications confirmed this result and proposed other models that were shown to outperform BERT4Rec in effectiveness. In this paper we systematically review all publications that compare BERT4Rec with another popular Transformer-based model, namely SASRec, and show that BERT4Rec results are not consistent within these publications. To understand the reasons behind this inconsistency, we analyse the available implementations of BERT4Rec and show that we fail to reproduce results of the original BERT4Rec publication when using their default configuration parameters. However, we are able to replicate the reported results with the original code if training for a much longer amount of time (up to 30x) compared to the default configuration. We also propose our own implementation of BERT4Rec based on the Hugging Face Transformers library, which we demonstrate replicates the originally reported results on 3 out 4 datasets, while requiring up to 95% less training time to converge. Overall, from our systematic review and detailed experiments, we conclude that BERT4Rec does indeed exhibit state-of-the-art effectiveness for sequential recommendation, but only when trained for a sufficient amount of time. Additionally, we show that our implementation can further benefit from adapting other Transformer architectures that are available in the Hugging Face Transformers library (e.g. using disentangled attention, as provided by DeBERTa, or larger hidden layer size cf. ALBERT).
• Abstract（参考訳）: BERT4RecはTransformerアーキテクチャに基づいたシーケンシャルなレコメンデーションのための効果的なモデルである。 オリジナルの出版物では、BERT4Recは他の利用可能なシーケンシャルレコメンデーションアプローチ(SASRecなど)よりも優れていると主張しており、現在ではシーケンシャルレコメンデーションのための最先端のベースラインとして頻繁に使用されている。 しかし、その後の全ての出版物がこの結果を確認し、BERT4Recを効果的に上回ることを示す他のモデルを提案したわけではない。 本稿では,BERT4Recと他の人気のあるトランスフォーマーベースモデルであるSASRecを比較したすべての出版物を体系的にレビューし,BERT4Recの結果がこれらの出版物の中で一致していないことを示す。 この矛盾の原因を理解するために、BERT4Recの利用可能な実装を分析し、デフォルトの設定パラメータを使用すると、元のBERT4Recパブリッシュの結果を再現できないことを示す。 しかし、デフォルトの設定よりもずっと長い時間(最大30倍)のトレーニングをすれば、報告された結果を元のコードで再現することができます。 また,Hugging Face TransformersライブラリをベースとしたBERT4Recの実装も提案しています。 全体として、体系的なレビューと詳細な実験から、bert4recは逐次レコメンデーションに最先端の有効性を示すが、十分な時間しか訓練されないと結論づけた。 さらに、Hugging Face Transformersライブラリで利用可能な他のTransformerアーキテクチャ(例えば、DeBERTaやALBERTよりも大きな隠蔽層サイズで)を適用することで、我々の実装がさらに恩恵を受けることを示す。

関連論文リスト

• SetBERT: Enhancing Retrieval Performance for Boolean Logic and Set Operation Queries [0.8192907805418583]
  本稿では,設定操作とブール論理クエリに対するクエリ埋め込みを強化するための,細調整BERTベースのモデルであるSetBERTを紹介する。 実験の結果, SetBERT-base は BERT-base を大幅に上回るだけでなく, より大型の BERT-large モデルに匹敵する性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-06-25T05:14:54Z)
• Turning Dross Into Gold Loss: is BERT4Rec really better than SASRec? [1.223779595809275]
  最先端の2つのベースラインはTransformerベースのモデルSASRecとBERT4Recである。 ほとんどの出版物では、BERT4RecはSASRecよりも優れたパフォーマンスを実現している。 SASRec は BERT4Rec より優れているが, 負のサンプルの数は 1 よりはるかに多いはずである。
  論文  参考訳（メタデータ） (2023-09-14T11:07:10Z)
• Multi-BERT for Embeddings for Recommendation System [0.0]
  本稿では,Sentence-BERTとRoBERTaを組み合わせて文書埋め込みを生成する手法を提案する。 提案手法では,文をトークンとして扱い,埋め込みを生成することにより,文書内の文内関係と文間関係の両方を抽出する。 書籍推薦タスクにおいて本モデルを評価し,よりセマンティックにリッチで正確な文書埋め込みを生成する上での有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-24T19:36:05Z)
• gSASRec: Reducing Overconfidence in Sequential Recommendation Trained with Negative Sampling [67.71952251641545]
  負のサンプリングで訓練されたモデルは、正の相互作用の確率を過大評価する傾向がある。 本稿では, 一般化二項クロスエントロピー損失関数(gBCE)を提案する。 本稿では,gSASRecが過信問題を示さない3つのデータセットについて詳細な実験を行った。
  論文  参考訳（メタデータ） (2023-08-14T14:56:40Z)
• Improving Sequential Recommendation Models with an Enhanced Loss Function [9.573139673704766]
  逐次レコメンデーションモデルのための改良された損失関数を開発する。 2つの重要なオープンソースライブラリの実験を行う。 BERT4Recモデルの結果をBeautyデータセット上で再現する。
  論文  参考訳（メタデータ） (2023-01-03T07:18:54Z)
• Does Recommend-Revise Produce Reliable Annotations? An Analysis on Missing Instances in DocRED [60.39125850987604]
  テキスト修正方式は, 偽陰性サンプルと, 人気エンティティや関係性に対する明らかな偏見をもたらすことを示す。 より信頼性の高いドキュメントREモデルのテストセットとして機能するように、relabeledデータセットがリリースされている。
  論文  参考訳（メタデータ） (2022-04-17T11:29:01Z)
• BiBERT: Accurate Fully Binarized BERT [69.35727280997617]
  BiBERTは、パフォーマンスボトルネックを取り除くために、正確に2項化されたBERTである。 提案手法は,FLOPとモデルサイズで56.3回,31.2回節約できる。
  論文  参考訳（メタデータ） (2022-03-12T09:46:13Z)
• The MultiBERTs: BERT Reproductions for Robustness Analysis [86.29162676103385]
  事前トレーニングの再実行は、パフォーマンスに関して、かなり異なる結論をもたらす可能性がある。 我々は25個のBERTベースのチェックポイントの集合であるMultiBERTを紹介する。 目標は、研究者が事前訓練の手順について、堅牢で統計的に正当化された結論を描けるようにすることである。
  論文  参考訳（メタデータ） (2021-06-30T15:56:44Z)
• TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
  本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-27T10:17:28Z)
• Conformer-Kernel with Query Term Independence for Document Retrieval [32.36908635150144]
  Transformer- Kernel (TK) モデルは、TREC Deep Learningベンチマークで強力な再ランク性能を示している。 我々は、クエリ項独立仮定を組み込むことで、TKアーキテクチャを完全な検索設定に拡張する。 コンフォーマーのGPUメモリ要件は入力シーケンス長と線形にスケールすることを示し、長いドキュメントのランク付けにおいてより有効な選択肢であることを示す。
  論文  参考訳（メタデータ） (2020-07-20T19:47:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。