論文の概要: Position-Aware Sequential Attention for Accurate Next Item Recommendations

• arxiv url: http://arxiv.org/abs/2602.21052v1
• Date: Tue, 24 Feb 2026 16:09:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-25 17:34:53.832469
• Title: Position-Aware Sequential Attention for Accurate Next Item Recommendations
• Title（参考訳）: 正確な次項目推薦のための位置認識シーケンスアテンション
• Authors: Timur Nabiev, Evgeny Frolov,
• Abstract要約: 我々は、付加的な位置埋め込みは、注意機構をシーケンス順序に表層的にのみ敏感にしていると論じる。 学習可能な位置カーネルは、位置空間内で純粋に動作し、意味的類似性から切り離され、注意重みを直接変調する。 標準の次世代予測ベンチマークの実験は、カーネルの注意が強い競合するベースラインよりも一貫して改善されていることを示している。
• 参考スコア（独自算出の注目度）: 0.7519872646378835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequential self-attention models usually rely on additive positional embeddings, which inject positional information into item representations at the input. In the absence of positional signals, the attention block is permutation-equivariant over sequence positions and thus has no intrinsic notion of temporal order beyond causal masking. We argue that additive positional embeddings make the attention mechanism only superficially sensitive to sequence order: positional information is entangled with item embedding semantics, propagates weakly in deep architectures, and limits the ability to capture rich sequential patterns. To address these limitations, we introduce a kernelized self-attention mechanism, where a learnable positional kernel operates purely in the position space, disentangled from semantic similarity, and directly modulates attention weights. When applied per attention block, this kernel enables adaptive multi-scale sequential modeling. Experiments on standard next-item prediction benchmarks show that our positional kernel attention consistently improves over strong competing baselines.
• Abstract（参考訳）: 連続的な自己認識モデルは、通常、入力におけるアイテム表現に位置情報を注入する追加的な位置埋め込みに依存している。 位置信号が存在しない場合、アテンションブロックは配列位置上の置換同変であり、因果マスキングを超えた時間秩序という本質的な概念を持たない。 我々は、付加的な位置埋め込みが注意機構をシーケンス順にのみ表わし、位置情報はアイテム埋め込みセマンティクスと絡み合っていて、深いアーキテクチャで弱伝播し、リッチなシーケンシャルなパターンを捕捉する能力を制限すると論じている。 これらの制約に対処するために、学習可能な位置カーネルが純粋に位置空間内で動作し、意味的類似性から切り離され、注意重みを直接変調する、カーネル化された自己注意機構を導入する。 注意ブロック毎に適用した場合、このカーネルは適応的なマルチスケールシーケンシャルモデリングを可能にする。 標準の次世代予測ベンチマークの実験では、我々の位置カーネルの注意は、強い競合するベースラインよりも一貫して改善されている。

関連論文リスト

• Untwisting RoPE: Frequency Control for Shared Attention in DiTs [84.14005261938284]
  位置符号化はトランスフォーマーベースの生成モデルに不可欠である。 ロータリー・ポジショナル・エンベディング (RoPE) は, 異なる位置感性を有する周波数成分に自然に分解されることを示す。 本稿では,厳密な位置アライメントよりも意味的類似性を反映するように,RoPE周波数帯域を選択的に変調する手法を提案する。
  論文  参考訳（メタデータ） (2026-02-04T20:01:59Z)
• Stochastic Clock Attention for Aligning Continuous and Ordered Sequences [1.2418532541734193]
  我々はアライメントモデルとして機能する連続および順序列に対する注意機構を定式化する。 Transformerのテキスト音声テストベッドでは、この構造により、より安定したアライメントが得られ、グローバルな時間スケーリングに対する堅牢性が向上する。
  論文  参考訳（メタデータ） (2025-09-18T07:18:34Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• On the Emergence of Position Bias in Transformers [59.87743433861665]
  本稿では,多層構造における位置バイアスを解析するためのグラフ理論フレームワークを提案する。 我々のフレームワークは、トランスにおける位置的相互作用を理解するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-02-04T02:53:07Z)
• Self-attention Networks Localize When QK-eigenspectrum Concentrates [9.379890125442335]
  自己認識メカニズムは、現代の機械学習で一般的である。 2つの議論が、モデルのパフォーマンスに注意を向けるローカライゼーションを結び付けている。 我々は,小さな固有スペクトルの分散が注意を局所化させることを示した。
  論文  参考訳（メタデータ） (2024-02-03T09:35:53Z)
• Learning Sequence Descriptor based on Spatio-Temporal Attention for Visual Place Recognition [16.380948630155476]
  ビジュアルプレース認識(VPR)は、クエリフレームと同じ場所に位置するタグ付きデータベースからフレームを取得することを目的としている。 ジオリーエイリアスシナリオにおけるVPRのロバスト性を改善するために,シーケンスベースのVPR手法を提案する。 我々はスライディングウィンドウを用いて時間的注意範囲を制御し、相対的な位置エンコーディングを用いて異なる特徴間の逐次的関係を構築する。
  論文  参考訳（メタデータ） (2023-05-19T06:39:10Z)
• Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation [51.14107156747967]
  弱教師付きセマンティックセマンティックセマンティクス(WSSS)は、完全な教師付きアプローチよりもアノテーションが少ないため、かなりの注目を集めている。 本研究では,非学際的な過密化に対する深い注意を抑えるための適応的再活性化機構 (AReAM) を提案する。 AReAMは既存のWSSS手法と比較してセグメンテーション性能を大幅に改善し、ノイズを低減し、関連するセマンティック領域に焦点を絞る。
  論文  参考訳（メタデータ） (2023-05-04T19:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。