論文の概要: Auto-Encoding or Auto-Regression? A Reality Check on Causality of Self-Attention-Based Sequential Recommenders

• arxiv url: http://arxiv.org/abs/2406.02048v1
• Date: Tue, 04 Jun 2024 07:29:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 23:05:20.978085
• Title: Auto-Encoding or Auto-Regression? A Reality Check on Causality of Self-Attention-Based Sequential Recommenders
• Title（参考訳）: 自己エンコーディングと自己回帰 : 自己認識に基づくシーケンスレコメンダの因果性について
• Authors: Yueqi Wang, Zhankui He, Zhenrui Yue, Julian McAuley, Dong Wang,
• Abstract要約: 我々は,自己注意型シーケンシャルレコメンデータのためのAEモデルとARモデルとして機能するBERT4RecとSASRecを比較した。 ARモデルは一般的に、逐次推奨でAEモデルを上回ることが分かりました。 AE/ARのパフォーマンスに関する2つの重要な視点から、潜在的な説明と洞察を提供する。
• 参考スコア（独自算出の注目度）: 25.74765016730563
• License:
• Abstract: The comparison between Auto-Encoding (AE) and Auto-Regression (AR) has become an increasingly important topic with recent advances in sequential recommendation. At the heart of this discussion lies the comparison of BERT4Rec and SASRec, which serve as representative AE and AR models for self-attentive sequential recommenders. Yet the conclusion of this debate remains uncertain due to: (1) the lack of fair and controlled environments for experiments and evaluations; and (2) the presence of numerous confounding factors w.r.t. feature selection, modeling choices and optimization algorithms. In this work, we aim to answer this question by conducting a series of controlled experiments. We start by tracing the AE/AR debate back to its origin through a systematic re-evaluation of SASRec and BERT4Rec, discovering that AR models generally surpass AE models in sequential recommendation. In addition, we find that AR models further outperforms AE models when using a customized design space that includes additional features, modeling approaches and optimization techniques. Furthermore, the performance advantage of AR models persists in the broader HuggingFace transformer ecosystems. Lastly, we provide potential explanations and insights into AE/AR performance from two key perspectives: low-rank approximation and inductive bias. We make our code and data available at https://github.com/yueqirex/ModSAR
• Abstract（参考訳）: オートエンコーディング(AE)とオートレグレッション(AR)の比較は、最近のレコメンデーションの進歩とともに、ますます重要になっている。 この議論の中心にあるのはBERT4RecとSASRecの比較である。 しかし、この議論の結論は、(1)実験と評価のための公正で制御された環境の欠如、(2)特徴選択、モデリングの選択、最適化アルゴリズムなど、多くの相反する要因の存在など、不確実なままである。 本研究は,一連の制御実験を行うことで,この問題に対処することを目的とする。 私たちはまず、SASRecとBERT4Recの体系的な再評価を通じて、AE/ARの議論をその起源に遡ることから始めます。 さらに、ARモデルは、追加機能やモデリングアプローチ、最適化テクニックを含むカスタマイズされたデザイン空間を使用する場合、AEモデルよりも優れています。 さらに、ARモデルのパフォーマンス上のアドバンテージは、より広範なHuggingFace Transformerエコシステムに留まっている。 最後に、低ランク近似と帰納バイアスという2つの重要な視点から、AE/ARのパフォーマンスに関する潜在的な説明と洞察を提供する。 コードとデータはhttps://github.com/yueqirex/ModSARで公開しています。

関連論文リスト

• A Differentiable Alignment Framework for Sequence-to-Sequence Modeling via Optimal Transport [12.835774667953187]
  一次元の最適輸送に基づく新しい微分可能なアライメントフレームワークを提案する。 CTCと比較して,ASR性能のトレードオフはあるものの,アライメント性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:20:29Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Beyond Exact Match: Semantically Reassessing Event Extraction by Large Language Models [69.38024658668887]
  イベント抽出の現在の評価法はトークンレベルの正確な一致に依存している。 トークンレベルではなくセマンティックレベルでイベント抽出結果を正確に評価する自動評価フレームワークであるRAEEを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:54:01Z)
• A Simple and Generalist Approach for Panoptic Segmentation [57.94892855772925]
  汎用的なビジョンモデルは、様々なビジョンタスクのための1つの同じアーキテクチャを目指している。 このような共有アーキテクチャは魅力的に思えるかもしれないが、ジェネラリストモデルは、その好奇心に満ちたモデルよりも優れている傾向にある。 一般モデルの望ましい性質を損なうことなく、2つの重要なコントリビューションを導入することでこの問題に対処する。
  論文  参考訳（メタデータ） (2024-08-29T13:02:12Z)
• Fine-grained Analysis of In-context Linear Estimation: Data, Architecture, and Beyond [44.154393889313724]
  線形注意を持つ変圧器は、降下ステップを通して線形勾配推定器を実装することにより、文脈内学習(ICL)を行うことができる。 我々は、アーキテクチャ、低ランクパラメータ化、および相関設計への貢献を通じて、ICLの最適化と一般化の展望をより強く評価する。
  論文  参考訳（メタデータ） (2024-07-13T21:13:55Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• SLEM: Machine Learning for Path Modeling and Causal Inference with Super Learner Equation Modeling [3.988614978933934]
  因果推論は科学の重要な目標であり、研究者は観測データを使って意味のある結論に達することができる。 経路モデル、構造方程式モデル(SEM)および指向非巡回グラフ(DAG)は、現象の根底にある因果構造に関する仮定を明確に特定する手段を提供する。 本稿では,機械学習のスーパーラーナーアンサンブルを統合したパスモデリング手法であるSuper Learner Equation Modelingを提案する。
  論文  参考訳（メタデータ） (2023-08-08T16:04:42Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• A Theory of Dynamic Benchmarks [24.170405353348592]
  動的ベンチマークの利点と実用的限界について検討する。 これらの結果は、経験的作業における観察されたボトルネックに関する理論的基礎と因果的説明を提供する。
  論文  参考訳（メタデータ） (2022-10-06T18:56:46Z)
• Self-Supervised Reinforcement Learning for Recommender Systems [77.38665506495553]
  逐次リコメンデーションタスクのための自己指導型強化学習を提案する。 提案手法は,2つの出力層を持つ標準レコメンデーションモデルを強化する。 このようなアプローチに基づいて、自己監督型Q-ラーニング(SQN)と自己監督型アクター・クライブ(SAC)という2つのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T11:18:57Z)
• A Distributionally Robust Area Under Curve Maximization Model [1.370633147306388]
  我々は2つの新しい分散ロバストなAUCモデル(DR-AUC)を提案する。 DR-AUCモデルは関東ロビッチ計量に依存し、AUCとヒンジ損失関数を近似する。 数値実験により,提案したDR-AUCモデルは一般に性能が向上し,特に最悪のアウト・オブ・サンプル性能が向上することが示された。
  論文  参考訳（メタデータ） (2020-02-18T02:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。