論文の概要: eSASRec: Enhancing Transformer-based Recommendations in a Modular Fashion

• arxiv url: http://arxiv.org/abs/2508.06450v1
• Date: Fri, 08 Aug 2025 16:49:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 20:39:06.31067
• Title: eSASRec: Enhancing Transformer-based Recommendations in a Modular Fashion
• Title（参考訳）: eSASRec: Modular FashionにおけるTransformerベースのレコメンデーションの強化
• Authors: Daria Tikhonovich, Nikita Zelinskiy, Aleksandr V. Petrov, Mayya Spirina, Andrei Semenov, Andrey V. Savchenko, Sergei Kuliev,
• Abstract要約: SASRecやBERT4Recのようなトランスフォーマーベースのモデルは、シーケンシャルレコメンデーションの一般的なベースラインとなっている。 我々は、SASRecのトレーニング目標、LiGRトランスフォーマー層、Sampred Softmax Lossを使用する非常に強力なモデルを特定する。 一般的な学術ベンチマークでは、最新の最先端モデルと比較して、eSASRecは23%有効であることが示されている。
• 参考スコア（独自算出の注目度）: 45.793127165612745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since their introduction, Transformer-based models, such as SASRec and BERT4Rec, have become common baselines for sequential recommendations, surpassing earlier neural and non-neural methods. A number of following publications have shown that the effectiveness of these models can be improved by, for example, slightly updating the architecture of the Transformer layers, using better training objectives, and employing improved loss functions. However, the additivity of these modular improvements has not been systematically benchmarked - this is the gap we aim to close in this paper. Through our experiments, we identify a very strong model that uses SASRec's training objective, LiGR Transformer layers, and Sampled Softmax Loss. We call this combination eSASRec (Enhanced SASRec). While we primarily focus on realistic, production-like evaluation, in our preliminarily study we find that common academic benchmarks show eSASRec to be 23% more effective compared to the most recent state-of-the-art models, such as ActionPiece. In our main production-like benchmark, eSASRec resides on the Pareto frontier in terms of the accuracy-coverage tradeoff (alongside the recent industrial models HSTU and FuXi. As the modifications compared to the original SASRec are relatively straightforward and no extra features are needed (such as timestamps in HSTU), we believe that eSASRec can be easily integrated into existing recommendation pipelines and can can serve as a strong yet very simple baseline for emerging complicated algorithms. To facilitate this, we provide the open-source implementations for our models and benchmarks in repository https://github.com/blondered/transformer_benchmark
• Abstract（参考訳）: 導入以来、SASRecやBERT4Recといったトランスフォーマーベースのモデルは、より初期の神経的および非神経的手法を超越したシーケンシャルレコメンデーションの一般的なベースラインとなっている。 以下のいくつかの出版物は、トランスフォーマー層のアーキテクチャをわずかに更新し、より良いトレーニング目標を使用して、改善された損失関数を使用することで、これらのモデルの有効性を改善することができることを示した。 しかし、これらのモジュラー改善の付加性は、体系的にベンチマークされていない。 実験により,SASRecのトレーニング目標,LiGRトランスフォーマー層,Sampred Softmax Lossを用いた非常に強力なモデルが同定された。 この組み合わせを eSASRec (Enhanced SASRec) と呼ぶ。 私たちは主に実運用的な評価に重点を置いていますが、予備研究では、一般的な学術ベンチマークでは、ActionPieceのような最新の最先端モデルと比較して、eSASRecの方が23%効果的であることが分かりました。 当社のメインのプロダクションライクなベンチマークでは、eSASRecは(最近の産業モデルHSTUとFuXiに加えて)精度とカバーのトレードオフの観点から、Paretoフロンティアに留まっています。 オリジナルのSASRecに対する変更は比較的単純であり、追加の機能(HSTUのタイムスタンプなど)は必要ないため、eSASRecは既存のレコメンデーションパイプラインに簡単に統合でき、新興の複雑なアルゴリズムの強力な、そして非常に単純なベースラインとして機能できると考えている。 これを容易にするため、私たちはリポジトリhttps://github.com/blondered/transformer_benchmarkでモデルとベンチマークのオープンソース実装を提供しています。

関連論文リスト

• Aligning Frozen LLMs by Reinforcement Learning: An Iterative Reweight-then-Optimize Approach [65.6966065843227]
  Iterative Reweight-then-IROは、凍結ベースモデルのRLスタイルアライメントを実行するフレームワークである。 テスト時には、値関数を使用して、検索ベースの最適化プロセスを介してベースモデル生成をガイドする。 特に、ユーザは、OpenAIの強化微調整(RFT)と同様、自身のデータセットにモデルをアライメントするためにIROを適用することができる。
  論文  参考訳（メタデータ） (2025-06-21T21:49:02Z)
• gSASRec: Reducing Overconfidence in Sequential Recommendation Trained with Negative Sampling [67.71952251641545]
  負のサンプリングで訓練されたモデルは、正の相互作用の確率を過大評価する傾向がある。 本稿では, 一般化二項クロスエントロピー損失関数(gBCE)を提案する。 本稿では,gSASRecが過信問題を示さない3つのデータセットについて詳細な実験を行った。
  論文  参考訳（メタデータ） (2023-08-14T14:56:40Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Improving Sequential Recommendation Models with an Enhanced Loss Function [9.573139673704766]
  逐次レコメンデーションモデルのための改良された損失関数を開発する。 2つの重要なオープンソースライブラリの実験を行う。 BERT4Recモデルの結果をBeautyデータセット上で再現する。
  論文  参考訳（メタデータ） (2023-01-03T07:18:54Z)
• Simple Recurrence Improves Masked Language Models [20.80840931168549]
  再帰性は、低レベルのパフォーマンス最適化を必要とせずに、一貫したマージンでトランスフォーマーモデルを改善することができる。 その結果,低レベルの性能最適化を必要とせずにトランスフォーマーモデルを一貫したマージンで再現できることが確認された。
  論文  参考訳（メタデータ） (2022-05-23T19:38:23Z)
• Measuring and Reducing Model Update Regression in Structured Prediction for NLP [31.86240946966003]
  後方互換性は、新しいモデルが前者によって正しく処理されたケースに回帰しないことを要求する。 本研究は、構造化予測タスクにおける更新回帰をモデル化する。 本稿では,構造化出力の特性を考慮し,単純かつ効果的なバックワード・コングルエント・リグレード(BCR)を提案する。
  論文  参考訳（メタデータ） (2022-02-07T07:04:54Z)
• SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval [11.38022203865326]
  SPLADEモデルは、最先端の高密度かつスパースなアプローチに関して、高度にスパースな表現と競争結果を提供する。 我々は、プール機構を変更し、文書拡張のみに基づいてモデルをベンチマークし、蒸留で訓練されたモデルを導入する。 全体として、SPLADEはTREC DL 2019のNDCG@10で9ドル以上のゲインで大幅に改善され、BEIRベンチマークで最先端の結果が得られた。
  論文  参考訳（メタデータ） (2021-09-21T10:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。