論文の概要: eSASRec: Enhancing Transformer-based Recommendations in a Modular Fashion
- arxiv url: http://arxiv.org/abs/2508.06450v1
- Date: Fri, 08 Aug 2025 16:49:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-11 20:39:06.31067
- Title: eSASRec: Enhancing Transformer-based Recommendations in a Modular Fashion
- Title（参考訳）: eSASRec: Modular FashionにおけるTransformerベースのレコメンデーションの強化
- Authors: Daria Tikhonovich, Nikita Zelinskiy, Aleksandr V. Petrov, Mayya Spirina, Andrei Semenov, Andrey V. Savchenko, Sergei Kuliev,
- Abstract要約: SASRecやBERT4Recのようなトランスフォーマーベースのモデルは、シーケンシャルレコメンデーションの一般的なベースラインとなっている。
我々は、SASRecのトレーニング目標、LiGRトランスフォーマー層、Sampred Softmax Lossを使用する非常に強力なモデルを特定する。
一般的な学術ベンチマークでは、最新の最先端モデルと比較して、eSASRecは23%有効であることが示されている。
- 参考スコア（独自算出の注目度）: 45.793127165612745
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Since their introduction, Transformer-based models, such as SASRec and BERT4Rec, have become common baselines for sequential recommendations, surpassing earlier neural and non-neural methods. A number of following publications have shown that the effectiveness of these models can be improved by, for example, slightly updating the architecture of the Transformer layers, using better training objectives, and employing improved loss functions. However, the additivity of these modular improvements has not been systematically benchmarked - this is the gap we aim to close in this paper. Through our experiments, we identify a very strong model that uses SASRec's training objective, LiGR Transformer layers, and Sampled Softmax Loss. We call this combination eSASRec (Enhanced SASRec). While we primarily focus on realistic, production-like evaluation, in our preliminarily study we find that common academic benchmarks show eSASRec to be 23% more effective compared to the most recent state-of-the-art models, such as ActionPiece. In our main production-like benchmark, eSASRec resides on the Pareto frontier in terms of the accuracy-coverage tradeoff (alongside the recent industrial models HSTU and FuXi. As the modifications compared to the original SASRec are relatively straightforward and no extra features are needed (such as timestamps in HSTU), we believe that eSASRec can be easily integrated into existing recommendation pipelines and can can serve as a strong yet very simple baseline for emerging complicated algorithms. To facilitate this, we provide the open-source implementations for our models and benchmarks in repository https://github.com/blondered/transformer_benchmark
- Abstract（参考訳）: 導入以来、SASRecやBERT4Recといったトランスフォーマーベースのモデルは、より初期の神経的および非神経的手法を超越したシーケンシャルレコメンデーションの一般的なベースラインとなっている。
以下のいくつかの出版物は、トランスフォーマー層のアーキテクチャをわずかに更新し、より良いトレーニング目標を使用して、改善された損失関数を使用することで、これらのモデルの有効性を改善することができることを示した。
しかし、これらのモジュラー改善の付加性は、体系的にベンチマークされていない。
実験により,SASRecのトレーニング目標,LiGRトランスフォーマー層,Sampred Softmax Lossを用いた非常に強力なモデルが同定された。
この組み合わせを eSASRec (Enhanced SASRec) と呼ぶ。
私たちは主に実運用的な評価に重点を置いていますが、予備研究では、一般的な学術ベンチマークでは、ActionPieceのような最新の最先端モデルと比較して、eSASRecの方が23%効果的であることが分かりました。
当社のメインのプロダクションライクなベンチマークでは、eSASRecは(最近の産業モデルHSTUとFuXiに加えて)精度とカバーのトレードオフの観点から、Paretoフロンティアに留まっています。
オリジナルのSASRecに対する変更は比較的単純であり、追加の機能(HSTUのタイムスタンプなど)は必要ないため、eSASRecは既存のレコメンデーションパイプラインに簡単に統合でき、新興の複雑なアルゴリズムの強力な、そして非常に単純なベースラインとして機能できると考えている。
これを容易にするため、私たちはリポジトリhttps://github.com/blondered/transformer_benchmarkでモデルとベンチマークのオープンソース実装を提供しています。
関連論文リスト
- MiniOneRec: An Open-Source Framework for Scaling Generative Recommendation [44.05859062614669]
MiniOneRecは、最初の完全なオープンソースジェネレーティブレコメンデーションフレームワークである。
SID構築にまたがるエンドツーエンドワークフロー、教師付き微調整、レコメンデーション指向の強化学習を提供する。
実験の結果,モデルサイズの増加に伴い,トレーニングと評価の両方の損失が一貫した下降傾向を示した。
論文 参考訳（メタデータ） (2025-10-28T13:58:36Z) - Round-trip Reinforcement Learning: Self-Consistent Training for Better Chemical LLMs [51.29260537017623]
大規模言語モデル (LLM) は計算化学の汎用基盤モデルとして登場しつつある。
これらのモデルは、しばしば往復一貫性を欠いている。
本稿では,その一貫性を向上させるためにモデルをトレーニングする新しいフレームワークであるRound-Trip Reinforcement Learning(RTRL)を紹介する。
論文 参考訳（メタデータ） (2025-10-01T23:58:58Z) - DenseRec: Revisiting Dense Content Embeddings for Sequential Transformer-based Recommendation [0.24999074238880484]
トランスフォーマーベースのシーケンシャルレコメンダは通常、学習アイテムIDの埋め込みにのみ依存する。
DenseRecはシンプルだが効果的な方法であり、デュアルパス埋め込みアプローチを導入している。
3つの実世界のデータセットの実験では、DenseRecはIDのみのSASRecベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2025-08-25T19:47:20Z) - Aligning Frozen LLMs by Reinforcement Learning: An Iterative Reweight-then-Optimize Approach [65.6966065843227]
Iterative Reweight-then-IROは、凍結ベースモデルのRLスタイルアライメントを実行するフレームワークである。
テスト時には、値関数を使用して、検索ベースの最適化プロセスを介してベースモデル生成をガイドする。
特に、ユーザは、OpenAIの強化微調整(RFT)と同様、自身のデータセットにモデルをアライメントするためにIROを適用することができる。
論文 参考訳（メタデータ） (2025-06-21T21:49:02Z) - gSASRec: Reducing Overconfidence in Sequential Recommendation Trained
with Negative Sampling [67.71952251641545]
負のサンプリングで訓練されたモデルは、正の相互作用の確率を過大評価する傾向がある。
本稿では, 一般化二項クロスエントロピー損失関数(gBCE)を提案する。
本稿では,gSASRecが過信問題を示さない3つのデータセットについて詳細な実験を行った。
論文 参考訳（メタデータ） (2023-08-14T14:56:40Z) - Consensus-Adaptive RANSAC [104.87576373187426]
本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。
注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
論文 参考訳（メタデータ） (2023-07-26T08:25:46Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:28:29Z) - Improving Sequential Recommendation Models with an Enhanced Loss
Function [9.573139673704766]
逐次レコメンデーションモデルのための改良された損失関数を開発する。
2つの重要なオープンソースライブラリの実験を行う。
BERT4Recモデルの結果をBeautyデータセット上で再現する。
論文 参考訳（メタデータ） (2023-01-03T07:18:54Z) - Simple Recurrence Improves Masked Language Models [20.80840931168549]
再帰性は、低レベルのパフォーマンス最適化を必要とせずに、一貫したマージンでトランスフォーマーモデルを改善することができる。
その結果,低レベルの性能最適化を必要とせずにトランスフォーマーモデルを一貫したマージンで再現できることが確認された。
論文 参考訳（メタデータ） (2022-05-23T19:38:23Z) - Measuring and Reducing Model Update Regression in Structured Prediction
for NLP [31.86240946966003]
後方互換性は、新しいモデルが前者によって正しく処理されたケースに回帰しないことを要求する。
本研究は、構造化予測タスクにおける更新回帰をモデル化する。
本稿では,構造化出力の特性を考慮し,単純かつ効果的なバックワード・コングルエント・リグレード(BCR)を提案する。
論文 参考訳（メタデータ） (2022-02-07T07:04:54Z) - SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval [11.38022203865326]
SPLADEモデルは、最先端の高密度かつスパースなアプローチに関して、高度にスパースな表現と競争結果を提供する。
我々は、プール機構を変更し、文書拡張のみに基づいてモデルをベンチマークし、蒸留で訓練されたモデルを導入する。
全体として、SPLADEはTREC DL 2019のNDCG@10で9ドル以上のゲインで大幅に改善され、BEIRベンチマークで最先端の結果が得られた。
論文 参考訳（メタデータ） (2021-09-21T10:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。