論文の概要: Auto-Encoding or Auto-Regression? A Reality Check on Causality of Self-Attention-Based Sequential Recommenders

• arxiv url: http://arxiv.org/abs/2406.02048v1
• Date: Tue, 04 Jun 2024 07:29:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 20:36:12.190019
• Title: Auto-Encoding or Auto-Regression? A Reality Check on Causality of Self-Attention-Based Sequential Recommenders
• Title（参考訳）: 自己エンコーディングと自己回帰 : 自己認識に基づくシーケンスレコメンダの因果性について
• Authors: Yueqi Wang, Zhankui He, Zhenrui Yue, Julian McAuley, Dong Wang,
• Abstract要約: 我々は,自己注意型シーケンシャルレコメンデータのためのAEモデルとARモデルとして機能するBERT4RecとSASRecを比較した。 ARモデルは一般的に、逐次推奨でAEモデルを上回ることが分かりました。 AE/ARのパフォーマンスに関する2つの重要な視点から、潜在的な説明と洞察を提供する。
• 参考スコア（独自算出の注目度）: 25.74765016730563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The comparison between Auto-Encoding (AE) and Auto-Regression (AR) has become an increasingly important topic with recent advances in sequential recommendation. At the heart of this discussion lies the comparison of BERT4Rec and SASRec, which serve as representative AE and AR models for self-attentive sequential recommenders. Yet the conclusion of this debate remains uncertain due to: (1) the lack of fair and controlled environments for experiments and evaluations; and (2) the presence of numerous confounding factors w.r.t. feature selection, modeling choices and optimization algorithms. In this work, we aim to answer this question by conducting a series of controlled experiments. We start by tracing the AE/AR debate back to its origin through a systematic re-evaluation of SASRec and BERT4Rec, discovering that AR models generally surpass AE models in sequential recommendation. In addition, we find that AR models further outperforms AE models when using a customized design space that includes additional features, modeling approaches and optimization techniques. Furthermore, the performance advantage of AR models persists in the broader HuggingFace transformer ecosystems. Lastly, we provide potential explanations and insights into AE/AR performance from two key perspectives: low-rank approximation and inductive bias. We make our code and data available at https://github.com/yueqirex/ModSAR
• Abstract（参考訳）: オートエンコーディング(AE)とオートレグレッション(AR)の比較は、最近のレコメンデーションの進歩とともに、ますます重要になっている。 この議論の中心にあるのはBERT4RecとSASRecの比較である。 しかし、この議論の結論は、(1)実験と評価のための公正で制御された環境の欠如、(2)特徴選択、モデリングの選択、最適化アルゴリズムなど、多くの相反する要因の存在など、不確実なままである。 本研究は,一連の制御実験を行うことで,この問題に対処することを目的とする。 私たちはまず、SASRecとBERT4Recの体系的な再評価を通じて、AE/ARの議論をその起源に遡ることから始めます。 さらに、ARモデルは、追加機能やモデリングアプローチ、最適化テクニックを含むカスタマイズされたデザイン空間を使用する場合、AEモデルよりも優れています。 さらに、ARモデルのパフォーマンス上のアドバンテージは、より広範なHuggingFace Transformerエコシステムに留まっている。 最後に、低ランク近似と帰納バイアスという2つの重要な視点から、AE/ARのパフォーマンスに関する潜在的な説明と洞察を提供する。 コードとデータはhttps://github.com/yueqirex/ModSARで公開しています。

関連論文リスト

• Review, Refine, Repeat: Understanding Iterative Decoding of AI Agents with Dynamic Evaluation and Selection [71.92083784393418]
  Best-of-N (BON) サンプリングのような推論時間法は、パフォーマンスを改善するための単純で効果的な代替手段を提供する。 本稿では,反復的改良と動的候補評価,検証器による選択を併用した反復的エージェント復号(IAD)を提案する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• ExpertRAG: Efficient RAG with Mixture of Experts -- Optimizing Context Retrieval for Adaptive LLM Responses [0.0]
  ExpertRAGは、Mixture-of-Experts (MoE)アーキテクチャとRetrieval Augmented Generation (RAG)を統合する新しい理論フレームワークである 本稿では,エキスパートルーティングと組み合わせた動的検索ゲーティング機構を提案し,モデルが外部知識ストアを選択的に参照したり,専門的な内部エキスパートに依存したりすることを可能にする。 本稿では,選択検索による計算コストの削減と,スパース専門家の利用によるキャパシティゲインの定量化を行う。
  論文  参考訳（メタデータ） (2025-03-23T17:26:23Z)
• A Differentiable Alignment Framework for Sequence-to-Sequence Modeling via Optimal Transport [12.835774667953187]
  一次元の最適輸送に基づく新しい微分可能なアライメントフレームワークを提案する。 CTCと比較して,ASR性能のトレードオフはあるものの,アライメント性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:20:29Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• A Survey on All-in-One Image Restoration: Taxonomy, Evaluation and Future Trends [67.43992456058541]
  画像復元(IR)とは、ノイズ、ぼかし、気象効果などの劣化を除去しながら、画像の視覚的品質を改善する過程である。 従来のIR手法は、一般的に特定の種類の劣化をターゲットとしており、複雑な歪みを伴う現実のシナリオにおいて、その効果を制限している。 オールインワン画像復元(AiOIR)パラダイムが登場し、複数の劣化タイプに順応的に対処する統一されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-10-19T11:11:09Z)
• REFINE on Scarce Data: Retrieval Enhancement through Fine-Tuning via Model Fusion of Embedding Models [14.023953508288628]
  検索拡張生成(RAG)パイプラインは、質問応答(QA)などのタスクで一般的に使用される。 本稿では,利用可能な文書から合成データを生成する新しい手法であるREFINEを提案する。
  論文  参考訳（メタデータ） (2024-10-16T08:43:39Z)
• Customize Your Visual Autoregressive Recipe with Set Autoregressive Modeling [15.013242103936625]
  我々は,SAR(Set AutoRegressive Modeling)と呼ばれる,自動回帰(AR)画像生成のための新しいパラダイムを導入する。 SARは従来のARを次のセット設定、すなわち複数のトークンを含む任意の集合に分割するように一般化する。 シーケンス順序と出力間隔が性能に与える影響を解析し,SARの特性について検討する。
  論文  参考訳（メタデータ） (2024-10-14T13:49:06Z)
• Beyond Exact Match: Semantically Reassessing Event Extraction by Large Language Models [65.8478860180793]
  イベント抽出は広範囲の応用により、広範囲の研究が注目されている。 イベント抽出の現在の評価法はトークンレベルの正確な一致に依存している。 イベント抽出のための信頼性とセマンティックな評価フレームワークであるRAEEを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:54:01Z)
• Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
  我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:45:15Z)
• Fine-grained Analysis of In-context Linear Estimation: Data, Architecture, and Beyond [44.154393889313724]
  線形注意を持つ変圧器は、降下ステップを通して線形勾配推定器を実装することにより、文脈内学習(ICL)を行うことができる。 我々は、アーキテクチャ、低ランクパラメータ化、および相関設計への貢献を通じて、ICLの最適化と一般化の展望をより強く評価する。
  論文  参考訳（メタデータ） (2024-07-13T21:13:55Z)
• A Critical Evaluation of AI Feedback for Aligning Large Language Models [60.42291111149438]
  教師が既存のRLAIFパイプラインより優れていることを示す。 より一般的には、RLAIFの利得は、ベースモデルファミリ、テスト時間評価プロトコル、批判モデルによって大きく異なることが分かる。
  論文  参考訳（メタデータ） (2024-02-19T18:53:54Z)
• SLEM: Machine Learning for Path Modeling and Causal Inference with Super Learner Equation Modeling [3.988614978933934]
  因果推論は科学の重要な目標であり、研究者は観測データを使って意味のある結論に達することができる。 経路モデル、構造方程式モデル(SEM)および指向非巡回グラフ(DAG)は、現象の根底にある因果構造に関する仮定を明確に特定する手段を提供する。 本稿では,機械学習のスーパーラーナーアンサンブルを統合したパスモデリング手法であるSuper Learner Equation Modelingを提案する。
  論文  参考訳（メタデータ） (2023-08-08T16:04:42Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• You Only Need One Model for Open-domain Question Answering [26.582284346491686]
  オープンドメイン質問回答に関する最近の研究は、検索モデルを用いた外部知識ベースを参照。 本稿では,トランスアーキテクチャ内で順次適用されるハードアテンション機構として,レトリバーとリランカのキャスティングを提案する。 我々は,Natural Questions と TriviaQA のオープンデータセットに関するモデルを評価し,従来の最先端モデルよりも1.0 と 0.7 の精度で優れた結果を得た。
  論文  参考訳（メタデータ） (2021-12-14T13:21:11Z)
• Adversarial and Contrastive Variational Autoencoder for Sequential Recommendation [25.37244686572865]
  本稿では、逐次レコメンデーションのためのAdversarial and Contrastive Variational Autoencoder (ACVAE) と呼ばれる新しい手法を提案する。 まず,本モデルが高品質な潜在変数を生成することを可能にするadversarial variational bayesフレームワークの下で,シーケンス生成のためのadversarial trainingを導入する。 さらに、シーケンスをエンコードする場合、シーケンス内のグローバルおよびローカルの関係をキャプチャするために、繰り返しおよび畳み込み構造を適用します。
  論文  参考訳（メタデータ） (2021-03-19T09:01:14Z)
• Hierarchical Variational Autoencoder for Visual Counterfactuals [79.86967775454316]
  条件変量オート(VAE)は、説明可能な人工知能(XAI)ツールとして注目されている。 本稿では, 後部の効果がいかに緩和され, 対物的効果が成功するかを示す。 本稿では,アプリケーション内の分類器を視覚的に監査できる階層型VAEについて紹介する。
  論文  参考訳（メタデータ） (2021-02-01T14:07:11Z)
• Self-Supervised Reinforcement Learning for Recommender Systems [77.38665506495553]
  逐次リコメンデーションタスクのための自己指導型強化学習を提案する。 提案手法は,2つの出力層を持つ標準レコメンデーションモデルを強化する。 このようなアプローチに基づいて、自己監督型Q-ラーニング(SQN)と自己監督型アクター・クライブ(SAC)という2つのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T11:18:57Z)
• Model-based actor-critic: GAN (model generator) + DRL (actor-critic) => AGI [0.0]
  本稿ではアクター批判的(モデルフリー)アーキテクチャに(生成的/予測的)環境モデルを追加することを提案する。 提案するAIモデルは(モデルフリーの)DDPGに似ているため、モデルベースDDPGと呼ばれる。 モデルベースアクター批判におけるDRLとGANは,各タスクを(モデルフリーの)DDPGと同等の性能で解決するために,段階的な目標駆動知性を必要とすることを示した。
  論文  参考訳（メタデータ） (2020-04-04T02:05:54Z)
• A Distributionally Robust Area Under Curve Maximization Model [1.370633147306388]
  我々は2つの新しい分散ロバストなAUCモデル(DR-AUC)を提案する。 DR-AUCモデルは関東ロビッチ計量に依存し、AUCとヒンジ損失関数を近似する。 数値実験により,提案したDR-AUCモデルは一般に性能が向上し,特に最悪のアウト・オブ・サンプル性能が向上することが示された。
  論文  参考訳（メタデータ） (2020-02-18T02:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。