論文の概要: Your Causal Self-Attentive Recommender Hosts a Lonely Neighborhood

• arxiv url: http://arxiv.org/abs/2406.02048v2
• Date: Mon, 23 Dec 2024 13:26:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 19:42:47.584778
• Title: Your Causal Self-Attentive Recommender Hosts a Lonely Neighborhood
• Title（参考訳）: 自尊心に満ちたレコメンデーションが近くで開催される
• Authors: Yueqi Wang, Zhankui He, Zhenrui Yue, Julian McAuley, Dong Wang,
• Abstract要約: 両方向/自動符号化(AE)と一方向/自動回帰(AR)の注意機構の比較分析を行った。 理論解析を支援するために,バニラと変種AE/ARの注目度を5つのベンチマークで比較する実験を行った。 適応チューニング,モジュール化設計,Hugingface に基づく結果が報告されている。
• 参考スコア（独自算出の注目度）: 25.74765016730563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the context of sequential recommendation, a pivotal issue pertains to the comparative analysis between bi-directional/auto-encoding (AE) and uni-directional/auto-regressive (AR) attention mechanisms, where the conclusions regarding architectural and performance superiority remain inconclusive. Previous efforts in such comparisons primarily involve summarizing existing works to identify a consensus or conducting ablation studies on peripheral modeling techniques, such as choices of loss functions. However, far fewer efforts have been made in (1) theoretical and (2) extensive empirical analysis of the self-attention module, the very pivotal structure on which performance and designing insights should be anchored. In this work, we first provide a comprehensive theoretical analysis of AE/AR attention matrix in the aspect of (1) sparse local inductive bias, a.k.a neighborhood effects, and (2) low rank approximation. Analytical metrics reveal that the AR attention exhibits sparse neighborhood effects suitable for generally sparse recommendation scenarios. Secondly, to support our theoretical analysis, we conduct extensive empirical experiments on comparing vanilla and variant AE/AR attention on five popular benchmarks with AR performing better overall. Results based on adaptive tuning, modularized design and Huggingface are reported. Lastly, we shed light on future design choices for performant self-attentive recommenders. We make our code and data available at https://github.com/yueqirex/Self-Attention-Direction-Check.
• Abstract（参考訳）: 逐次的レコメンデーションの文脈において、重要な問題は、双方向/自動エンコーディング(AE)と一方向/自動回帰(AR)のアテンションメカニズムの比較分析であり、アーキテクチャと性能上の優位性に関する結論は決定的でないままである。 このような比較におけるこれまでの取り組みは主に、既存の作品を要約してコンセンサスを特定したり、損失関数の選択のような周辺モデリング技術に関するアブレーション研究を行ったりすることであった。 しかし,(1)理論と(2)自己注意モジュールの広範な実証分析において,性能と設計の洞察を定着させる極めて重要な構造である,はるかに少ない努力がなされている。 本研究ではまず,(1)局所誘導バイアス,a.k.a地区効果,(2)低階近似の観点から,AE/AR注意行列の包括的理論的解析を行った。 分析結果から、ARの注意力は概してスパースなレコメンデーションシナリオに適したスパースな近隣効果を示すことが明らかになった。 第2に、我々の理論解析をサポートするために、我々は、バニラと変種AE/ARの注意を、ARが全体的なパフォーマンスを向上する5つの一般的なベンチマークで比較する広範な実験を行った。 適応チューニング,モジュール化設計,Hugingface に基づく結果が報告されている。 最後に、パフォーマンスの高い自己注意的なレコメンデーションのために、将来の設計選択について光を当てた。 コードとデータはhttps://github.com/yueqirex/Self-Attention-Direction-Checkで公開しています。

関連論文リスト

• Review, Refine, Repeat: Understanding Iterative Decoding of AI Agents with Dynamic Evaluation and Selection [71.92083784393418]
  Best-of-N (BON) サンプリングのような推論時間法は、パフォーマンスを改善するための単純で効果的な代替手段を提供する。 本稿では,反復的改良と動的候補評価,検証器による選択を併用した反復的エージェント復号(IAD)を提案する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• ExpertRAG: Efficient RAG with Mixture of Experts -- Optimizing Context Retrieval for Adaptive LLM Responses [0.0]
  ExpertRAGは、Mixture-of-Experts (MoE)アーキテクチャとRetrieval Augmented Generation (RAG)を統合する新しい理論フレームワークである 本稿では,エキスパートルーティングと組み合わせた動的検索ゲーティング機構を提案し,モデルが外部知識ストアを選択的に参照したり,専門的な内部エキスパートに依存したりすることを可能にする。 本稿では,選択検索による計算コストの削減と,スパース専門家の利用によるキャパシティゲインの定量化を行う。
  論文  参考訳（メタデータ） (2025-03-23T17:26:23Z)
• A Differentiable Alignment Framework for Sequence-to-Sequence Modeling via Optimal Transport [12.835774667953187]
  一次元の最適輸送に基づく新しい微分可能なアライメントフレームワークを提案する。 CTCと比較して,ASR性能のトレードオフはあるものの,アライメント性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:20:29Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• A Survey on All-in-One Image Restoration: Taxonomy, Evaluation and Future Trends [67.43992456058541]
  画像復元(IR)とは、ノイズ、ぼかし、気象効果などの劣化を除去しながら、画像の視覚的品質を改善する過程である。 従来のIR手法は、一般的に特定の種類の劣化をターゲットとしており、複雑な歪みを伴う現実のシナリオにおいて、その効果を制限している。 オールインワン画像復元(AiOIR)パラダイムが登場し、複数の劣化タイプに順応的に対処する統一されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-10-19T11:11:09Z)
• REFINE on Scarce Data: Retrieval Enhancement through Fine-Tuning via Model Fusion of Embedding Models [14.023953508288628]
  検索拡張生成(RAG)パイプラインは、質問応答(QA)などのタスクで一般的に使用される。 本稿では,利用可能な文書から合成データを生成する新しい手法であるREFINEを提案する。
  論文  参考訳（メタデータ） (2024-10-16T08:43:39Z)
• Customize Your Visual Autoregressive Recipe with Set Autoregressive Modeling [15.013242103936625]
  我々は,SAR(Set AutoRegressive Modeling)と呼ばれる,自動回帰(AR)画像生成のための新しいパラダイムを導入する。 SARは従来のARを次のセット設定、すなわち複数のトークンを含む任意の集合に分割するように一般化する。 シーケンス順序と出力間隔が性能に与える影響を解析し,SARの特性について検討する。
  論文  参考訳（メタデータ） (2024-10-14T13:49:06Z)
• Beyond Exact Match: Semantically Reassessing Event Extraction by Large Language Models [65.8478860180793]
  イベント抽出は広範囲の応用により、広範囲の研究が注目されている。 イベント抽出の現在の評価法はトークンレベルの正確な一致に依存している。 イベント抽出のための信頼性とセマンティックな評価フレームワークであるRAEEを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:54:01Z)
• Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
  我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:45:15Z)
• Fine-grained Analysis of In-context Linear Estimation: Data, Architecture, and Beyond [44.154393889313724]
  線形注意を持つ変圧器は、降下ステップを通して線形勾配推定器を実装することにより、文脈内学習(ICL)を行うことができる。 我々は、アーキテクチャ、低ランクパラメータ化、および相関設計への貢献を通じて、ICLの最適化と一般化の展望をより強く評価する。
  論文  参考訳（メタデータ） (2024-07-13T21:13:55Z)
• A Critical Evaluation of AI Feedback for Aligning Large Language Models [60.42291111149438]
  教師が既存のRLAIFパイプラインより優れていることを示す。 より一般的には、RLAIFの利得は、ベースモデルファミリ、テスト時間評価プロトコル、批判モデルによって大きく異なることが分かる。
  論文  参考訳（メタデータ） (2024-02-19T18:53:54Z)
• SLEM: Machine Learning for Path Modeling and Causal Inference with Super Learner Equation Modeling [3.988614978933934]
  因果推論は科学の重要な目標であり、研究者は観測データを使って意味のある結論に達することができる。 経路モデル、構造方程式モデル(SEM)および指向非巡回グラフ(DAG)は、現象の根底にある因果構造に関する仮定を明確に特定する手段を提供する。 本稿では,機械学習のスーパーラーナーアンサンブルを統合したパスモデリング手法であるSuper Learner Equation Modelingを提案する。
  論文  参考訳（メタデータ） (2023-08-08T16:04:42Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• You Only Need One Model for Open-domain Question Answering [26.582284346491686]
  オープンドメイン質問回答に関する最近の研究は、検索モデルを用いた外部知識ベースを参照。 本稿では,トランスアーキテクチャ内で順次適用されるハードアテンション機構として,レトリバーとリランカのキャスティングを提案する。 我々は,Natural Questions と TriviaQA のオープンデータセットに関するモデルを評価し,従来の最先端モデルよりも1.0 と 0.7 の精度で優れた結果を得た。
  論文  参考訳（メタデータ） (2021-12-14T13:21:11Z)
• Adversarial and Contrastive Variational Autoencoder for Sequential Recommendation [25.37244686572865]
  本稿では、逐次レコメンデーションのためのAdversarial and Contrastive Variational Autoencoder (ACVAE) と呼ばれる新しい手法を提案する。 まず,本モデルが高品質な潜在変数を生成することを可能にするadversarial variational bayesフレームワークの下で,シーケンス生成のためのadversarial trainingを導入する。 さらに、シーケンスをエンコードする場合、シーケンス内のグローバルおよびローカルの関係をキャプチャするために、繰り返しおよび畳み込み構造を適用します。
  論文  参考訳（メタデータ） (2021-03-19T09:01:14Z)
• Hierarchical Variational Autoencoder for Visual Counterfactuals [79.86967775454316]
  条件変量オート(VAE)は、説明可能な人工知能(XAI)ツールとして注目されている。 本稿では, 後部の効果がいかに緩和され, 対物的効果が成功するかを示す。 本稿では,アプリケーション内の分類器を視覚的に監査できる階層型VAEについて紹介する。
  論文  参考訳（メタデータ） (2021-02-01T14:07:11Z)
• Self-Supervised Reinforcement Learning for Recommender Systems [77.38665506495553]
  逐次リコメンデーションタスクのための自己指導型強化学習を提案する。 提案手法は,2つの出力層を持つ標準レコメンデーションモデルを強化する。 このようなアプローチに基づいて、自己監督型Q-ラーニング(SQN)と自己監督型アクター・クライブ(SAC)という2つのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T11:18:57Z)
• Model-based actor-critic: GAN (model generator) + DRL (actor-critic) => AGI [0.0]
  本稿ではアクター批判的(モデルフリー)アーキテクチャに(生成的/予測的)環境モデルを追加することを提案する。 提案するAIモデルは(モデルフリーの)DDPGに似ているため、モデルベースDDPGと呼ばれる。 モデルベースアクター批判におけるDRLとGANは,各タスクを(モデルフリーの)DDPGと同等の性能で解決するために,段階的な目標駆動知性を必要とすることを示した。
  論文  参考訳（メタデータ） (2020-04-04T02:05:54Z)
• A Distributionally Robust Area Under Curve Maximization Model [1.370633147306388]
  我々は2つの新しい分散ロバストなAUCモデル(DR-AUC)を提案する。 DR-AUCモデルは関東ロビッチ計量に依存し、AUCとヒンジ損失関数を近似する。 数値実験により,提案したDR-AUCモデルは一般に性能が向上し,特に最悪のアウト・オブ・サンプル性能が向上することが示された。
  論文  参考訳（メタデータ） (2020-02-18T02:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。