論文の概要: Your Causal Self-Attentive Recommender Hosts a Lonely Neighborhood
- arxiv url: http://arxiv.org/abs/2406.02048v2
- Date: Mon, 23 Dec 2024 13:26:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 15:50:39.695249
- Title: Your Causal Self-Attentive Recommender Hosts a Lonely Neighborhood
- Title（参考訳）: 自尊心に満ちたレコメンデーションが近くで開催される
- Authors: Yueqi Wang, Zhankui He, Zhenrui Yue, Julian McAuley, Dong Wang,
- Abstract要約: 両方向/自動符号化(AE)と一方向/自動回帰(AR)の注意機構の比較分析を行った。
理論解析を支援するために,バニラと変種AE/ARの注目度を5つのベンチマークで比較する実験を行った。
適応チューニング,モジュール化設計,Hugingface に基づく結果が報告されている。
- 参考スコア（独自算出の注目度）: 25.74765016730563
- License:
- Abstract: In the context of sequential recommendation, a pivotal issue pertains to the comparative analysis between bi-directional/auto-encoding (AE) and uni-directional/auto-regressive (AR) attention mechanisms, where the conclusions regarding architectural and performance superiority remain inconclusive. Previous efforts in such comparisons primarily involve summarizing existing works to identify a consensus or conducting ablation studies on peripheral modeling techniques, such as choices of loss functions. However, far fewer efforts have been made in (1) theoretical and (2) extensive empirical analysis of the self-attention module, the very pivotal structure on which performance and designing insights should be anchored. In this work, we first provide a comprehensive theoretical analysis of AE/AR attention matrix in the aspect of (1) sparse local inductive bias, a.k.a neighborhood effects, and (2) low rank approximation. Analytical metrics reveal that the AR attention exhibits sparse neighborhood effects suitable for generally sparse recommendation scenarios. Secondly, to support our theoretical analysis, we conduct extensive empirical experiments on comparing vanilla and variant AE/AR attention on five popular benchmarks with AR performing better overall. Results based on adaptive tuning, modularized design and Huggingface are reported. Lastly, we shed light on future design choices for performant self-attentive recommenders. We make our code and data available at https://github.com/yueqirex/Self-Attention-Direction-Check.
- Abstract（参考訳）: 逐次的レコメンデーションの文脈において、重要な問題は、双方向/自動エンコーディング(AE)と一方向/自動回帰(AR)のアテンションメカニズムの比較分析であり、アーキテクチャと性能上の優位性に関する結論は決定的でないままである。
このような比較におけるこれまでの取り組みは主に、既存の作品を要約してコンセンサスを特定したり、損失関数の選択のような周辺モデリング技術に関するアブレーション研究を行ったりすることであった。
しかし,(1)理論と(2)自己注意モジュールの広範な実証分析において,性能と設計の洞察を定着させる極めて重要な構造である,はるかに少ない努力がなされている。
本研究ではまず,(1)局所誘導バイアス,a.k.a地区効果,(2)低階近似の観点から,AE/AR注意行列の包括的理論的解析を行った。
分析結果から、ARの注意力は概してスパースなレコメンデーションシナリオに適したスパースな近隣効果を示すことが明らかになった。
第2に、我々の理論解析をサポートするために、我々は、バニラと変種AE/ARの注意を、ARが全体的なパフォーマンスを向上する5つの一般的なベンチマークで比較する広範な実験を行った。
適応チューニング,モジュール化設計,Hugingface に基づく結果が報告されている。
最後に、パフォーマンスの高い自己注意的なレコメンデーションのために、将来の設計選択について光を当てた。
コードとデータはhttps://github.com/yueqirex/Self-Attention-Direction-Checkで公開しています。
関連論文リスト
- A Survey on All-in-One Image Restoration: Taxonomy, Evaluation and Future Trends [67.43992456058541]
画像復元(IR)とは、ノイズ、ぼかし、気象効果などの劣化を除去しながら、画像の視覚的品質を改善する過程である。
従来のIR手法は、一般的に特定の種類の劣化をターゲットとしており、複雑な歪みを伴う現実のシナリオにおいて、その効果を制限している。
オールインワン画像復元(AiOIR)パラダイムが登場し、複数の劣化タイプに順応的に対処する統一されたフレームワークを提供する。
論文 参考訳（メタデータ） (2024-10-19T11:11:09Z) - REFINE on Scarce Data: Retrieval Enhancement through Fine-Tuning via Model Fusion of Embedding Models [14.023953508288628]
検索拡張生成(RAG)パイプラインは、質問応答(QA)などのタスクで一般的に使用される。
本稿では,利用可能な文書から合成データを生成する新しい手法であるREFINEを提案する。
論文 参考訳（メタデータ） (2024-10-16T08:43:39Z) - Customize Your Visual Autoregressive Recipe with Set Autoregressive Modeling [15.013242103936625]
我々は,SAR(Set AutoRegressive Modeling)と呼ばれる,自動回帰(AR)画像生成のための新しいパラダイムを導入する。
SARは従来のARを次のセット設定、すなわち複数のトークンを含む任意の集合に分割するように一般化する。
シーケンス順序と出力間隔が性能に与える影響を解析し,SARの特性について検討する。
論文 参考訳（メタデータ） (2024-10-14T13:49:06Z) - A Critical Evaluation of AI Feedback for Aligning Large Language Models [60.42291111149438]
教師が既存のRLAIFパイプラインより優れていることを示す。
より一般的には、RLAIFの利得は、ベースモデルファミリ、テスト時間評価プロトコル、批判モデルによって大きく異なることが分かる。
論文 参考訳（メタデータ） (2024-02-19T18:53:54Z) - Consensus-Adaptive RANSAC [104.87576373187426]
本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。
注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
論文 参考訳（メタデータ） (2023-07-26T08:25:46Z) - Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。
AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。
誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
論文 参考訳（メタデータ） (2022-09-22T04:32:51Z) - You Only Need One Model for Open-domain Question Answering [26.582284346491686]
オープンドメイン質問回答に関する最近の研究は、検索モデルを用いた外部知識ベースを参照。
本稿では,トランスアーキテクチャ内で順次適用されるハードアテンション機構として,レトリバーとリランカのキャスティングを提案する。
我々は,Natural Questions と TriviaQA のオープンデータセットに関するモデルを評価し,従来の最先端モデルよりも1.0 と 0.7 の精度で優れた結果を得た。
論文 参考訳（メタデータ） (2021-12-14T13:21:11Z) - Adversarial and Contrastive Variational Autoencoder for Sequential
Recommendation [25.37244686572865]
本稿では、逐次レコメンデーションのためのAdversarial and Contrastive Variational Autoencoder (ACVAE) と呼ばれる新しい手法を提案する。
まず,本モデルが高品質な潜在変数を生成することを可能にするadversarial variational bayesフレームワークの下で,シーケンス生成のためのadversarial trainingを導入する。
さらに、シーケンスをエンコードする場合、シーケンス内のグローバルおよびローカルの関係をキャプチャするために、繰り返しおよび畳み込み構造を適用します。
論文 参考訳（メタデータ） (2021-03-19T09:01:14Z) - Hierarchical Variational Autoencoder for Visual Counterfactuals [79.86967775454316]
条件変量オート(VAE)は、説明可能な人工知能(XAI)ツールとして注目されている。
本稿では, 後部の効果がいかに緩和され, 対物的効果が成功するかを示す。
本稿では,アプリケーション内の分類器を視覚的に監査できる階層型VAEについて紹介する。
論文 参考訳（メタデータ） (2021-02-01T14:07:11Z) - Self-Supervised Reinforcement Learning for Recommender Systems [77.38665506495553]
逐次リコメンデーションタスクのための自己指導型強化学習を提案する。
提案手法は,2つの出力層を持つ標準レコメンデーションモデルを強化する。
このようなアプローチに基づいて、自己監督型Q-ラーニング(SQN)と自己監督型アクター・クライブ(SAC)という2つのフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-10T11:18:57Z) - Model-based actor-critic: GAN (model generator) + DRL (actor-critic) =>
AGI [0.0]
本稿ではアクター批判的(モデルフリー)アーキテクチャに(生成的/予測的)環境モデルを追加することを提案する。
提案するAIモデルは(モデルフリーの)DDPGに似ているため、モデルベースDDPGと呼ばれる。
モデルベースアクター批判におけるDRLとGANは,各タスクを(モデルフリーの)DDPGと同等の性能で解決するために,段階的な目標駆動知性を必要とすることを示した。
論文 参考訳（メタデータ） (2020-04-04T02:05:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。