論文の概要: Your Causal Self-Attentive Recommender Hosts a Lonely Neighborhood
- arxiv url: http://arxiv.org/abs/2406.02048v3
- Date: Wed, 01 Jan 2025 15:12:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-03 14:33:00.067693
- Title: Your Causal Self-Attentive Recommender Hosts a Lonely Neighborhood
- Title（参考訳）: 自尊心に満ちたレコメンデーションが近くで開催される
- Authors: Yueqi Wang, Zhankui He, Zhenrui Yue, Julian McAuley, Dong Wang,
- Abstract要約: 両方向/自動符号化(AE)と一方向/自動回帰(AR)の注意機構の比較分析を行った。
理論解析を支援するため,5つのベンチマークでAE/ARの注目度を比較する実験を行った。
私たちは、パフォーマンスの高いセルフアテンティブなレコメンデーションのために、将来の設計選択に光を当てました。
- 参考スコア（独自算出の注目度）: 25.74765016730563
- License:
- Abstract: In the context of sequential recommendation, a pivotal issue pertains to the comparative analysis between bi-directional/auto-encoding (AE) and uni-directional/auto-regressive (AR) attention mechanisms, where the conclusions regarding architectural and performance superiority remain inconclusive. Previous efforts in such comparisons primarily involve summarizing existing works to identify a consensus or conducting ablation studies on peripheral modeling techniques, such as choices of loss functions. However, far fewer efforts have been made in (1) theoretical and (2) extensive empirical analysis of the self-attention module, the very pivotal structure on which performance and designing insights should be anchored. In this work, we first provide a comprehensive theoretical analysis of AE/AR attention matrix in the aspect of (1) sparse local inductive bias, a.k.a neighborhood effects, and (2) low rank approximation. Analytical metrics reveal that the AR attention exhibits sparse neighborhood effects suitable for generally sparse recommendation scenarios. Secondly, to support our theoretical analysis, we conduct extensive empirical experiments on comparing AE/AR attention on five popular benchmarks with AR performing better overall. Empirical results reported are based on our experimental pipeline named Modularized Design Space for Self-Attentive Recommender (ModSAR), supporting adaptive hyperparameter tuning, modularized design space and HuggingFace plug-ins. We invite the recommendation community to utilize/contribute to ModSAR to (1) conduct more module/model-level examining beyond AE/AR comparison and (2) accelerate state-of-the-art model design. Lastly, we shed light on future design choices for performant self-attentive recommenders. We make our pipeline implementation and data available at https://github.com/yueqirex/SAR-Check.
- Abstract（参考訳）: 逐次的レコメンデーションの文脈において、重要な問題は、双方向/自動エンコーディング(AE)と一方向/自動回帰(AR)のアテンションメカニズムの比較分析であり、アーキテクチャと性能上の優位性に関する結論は決定的でないままである。
このような比較におけるこれまでの取り組みは主に、既存の作品を要約してコンセンサスを特定したり、損失関数の選択のような周辺モデリング技術に関するアブレーション研究を行ったりすることであった。
しかし,(1)理論と(2)自己注意モジュールの広範な実証分析において,性能と設計の洞察を定着させる極めて重要な構造である,はるかに少ない努力がなされている。
本研究ではまず,(1)局所誘導バイアス,a.k.a地区効果,(2)低階近似の観点から,AE/AR注意行列の包括的理論的解析を行った。
分析結果から、ARの注意力は概してスパースなレコメンデーションシナリオに適したスパースな近隣効果を示すことが明らかになった。
第2に、理論解析を支援するために、AE/ARの注意点を5つの一般的なベンチマークで比較し、全体的なパフォーマンスを向上する実験を行った。
報告された実験結果は、ModSAR(Modularized Design Space for Self-Attentive Recommender)と呼ばれる実験パイプラインに基づいており、適応型ハイパーパラメータチューニング、モジュール化デザインスペース、HuggingFaceプラグインをサポートしている。
我々は,(1)AE/AR比較以上のモジュール/モデルレベルの検査を行い,(2)最先端のモデル設計を加速するために,ModSARの利用/貢献を推奨するコミュニティを招待する。
最後に、パフォーマンスの高い自己注意的なレコメンデーションのために、将来の設計選択について光を当てた。
パイプラインの実装とデータはhttps://github.com/yueqirex/SAR-Check.comで公開しています。
関連論文リスト
- A Differentiable Alignment Framework for Sequence-to-Sequence Modeling via Optimal Transport [12.835774667953187]
一次元の最適輸送に基づく新しい微分可能なアライメントフレームワークを提案する。
CTCと比較して,ASR性能のトレードオフはあるものの,アライメント性能が著しく向上することを示す。
論文 参考訳（メタデータ） (2025-02-03T18:20:29Z) - Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。
データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
論文 参考訳（メタデータ） (2024-11-30T10:56:30Z) - Beyond Exact Match: Semantically Reassessing Event Extraction by Large Language Models [69.38024658668887]
イベント抽出の現在の評価法はトークンレベルの正確な一致に依存している。
トークンレベルではなくセマンティックレベルでイベント抽出結果を正確に評価する自動評価フレームワークであるRAEEを提案する。
論文 参考訳（メタデータ） (2024-10-12T07:54:01Z) - A Simple and Generalist Approach for Panoptic Segmentation [57.94892855772925]
汎用的なビジョンモデルは、様々なビジョンタスクのための1つの同じアーキテクチャを目指している。
このような共有アーキテクチャは魅力的に思えるかもしれないが、ジェネラリストモデルは、その好奇心に満ちたモデルよりも優れている傾向にある。
一般モデルの望ましい性質を損なうことなく、2つの重要なコントリビューションを導入することでこの問題に対処する。
論文 参考訳（メタデータ） (2024-08-29T13:02:12Z) - Fine-grained Analysis of In-context Linear Estimation: Data, Architecture, and Beyond [44.154393889313724]
線形注意を持つ変圧器は、降下ステップを通して線形勾配推定器を実装することにより、文脈内学習(ICL)を行うことができる。
我々は、アーキテクチャ、低ランクパラメータ化、および相関設計への貢献を通じて、ICLの最適化と一般化の展望をより強く評価する。
論文 参考訳（メタデータ） (2024-07-13T21:13:55Z) - A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。
軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。
本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
論文 参考訳（メタデータ） (2024-06-25T07:45:00Z) - SLEM: Machine Learning for Path Modeling and Causal Inference with Super
Learner Equation Modeling [3.988614978933934]
因果推論は科学の重要な目標であり、研究者は観測データを使って意味のある結論に達することができる。
経路モデル、構造方程式モデル(SEM)および指向非巡回グラフ(DAG)は、現象の根底にある因果構造に関する仮定を明確に特定する手段を提供する。
本稿では,機械学習のスーパーラーナーアンサンブルを統合したパスモデリング手法であるSuper Learner Equation Modelingを提案する。
論文 参考訳（メタデータ） (2023-08-08T16:04:42Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳（メタデータ） (2023-06-01T15:18:55Z) - A Theory of Dynamic Benchmarks [24.170405353348592]
動的ベンチマークの利点と実用的限界について検討する。
これらの結果は、経験的作業における観察されたボトルネックに関する理論的基礎と因果的説明を提供する。
論文 参考訳（メタデータ） (2022-10-06T18:56:46Z) - Self-Supervised Reinforcement Learning for Recommender Systems [77.38665506495553]
逐次リコメンデーションタスクのための自己指導型強化学習を提案する。
提案手法は,2つの出力層を持つ標準レコメンデーションモデルを強化する。
このようなアプローチに基づいて、自己監督型Q-ラーニング(SQN)と自己監督型アクター・クライブ(SAC)という2つのフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-10T11:18:57Z) - A Distributionally Robust Area Under Curve Maximization Model [1.370633147306388]
我々は2つの新しい分散ロバストなAUCモデル(DR-AUC)を提案する。
DR-AUCモデルは関東ロビッチ計量に依存し、AUCとヒンジ損失関数を近似する。
数値実験により,提案したDR-AUCモデルは一般に性能が向上し,特に最悪のアウト・オブ・サンプル性能が向上することが示された。
論文 参考訳（メタデータ） (2020-02-18T02:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。