論文の概要: Positional encoding is not the same as context: A study on positional encoding for sequential recommendation
- arxiv url: http://arxiv.org/abs/2405.10436v2
- Date: Tue, 21 Jan 2025 12:37:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-22 14:17:17.059019
- Title: Positional encoding is not the same as context: A study on positional encoding for sequential recommendation
- Title（参考訳）: 位置符号化は文脈と同一ではない:逐次的推薦のための位置符号化に関する研究
- Authors: Alejo Lopez-Avila, Jinhua Du, Abbas Shimary, Ze Li,
- Abstract要約: 位置エンコーディングは 時間的パターンを捉えるのに 不可欠です
後者は、時間的フットプリントだけでは提供できないアイテム間のユニークなキューを提供する。
我々は、新しい位置エンコーディングを導入し、メトリクスと安定性の両方を改善する統合戦略について検討する。
- 参考スコア（独自算出の注目度）: 2.5321789560873307
- License:
- Abstract: The rapid growth of streaming media and e-commerce has driven advancements in recommendation systems, particularly Sequential Recommendation Systems (SRS). These systems employ users' interaction histories to predict future preferences. While recent research has focused on architectural innovations like transformer blocks and feature extraction, positional encodings, crucial for capturing temporal patterns, have received less attention. These encodings are often conflated with contextual, such as the temporal footprint, which previous works tend to treat as interchangeable with positional information. This paper highlights the critical distinction between temporal footprint and positional encodings, demonstrating that the latter offers unique relational cues between items, which the temporal footprint alone cannot provide. Through extensive experimentation on eight Amazon datasets and subsets, we assess the impact of various encodings on performance metrics and training stability. We introduce new positional encodings and investigate integration strategies that improve both metrics and stability, surpassing state-of-the-art results at the time of this work's initial preprint. Importantly, we demonstrate that selecting the appropriate encoding is not only key to better performance but also essential for building robust, reliable SRS models.
- Abstract（参考訳）: ストリーミングメディアとeコマースの急速な成長はレコメンデーションシステム、特にシークエンシャルレコメンデーションシステム(SRS)の進歩を促している。
これらのシステムは、将来の嗜好を予測するために、ユーザのインタラクション履歴を利用する。
最近の研究は、トランスフォーマーブロックや特徴抽出のようなアーキテクチャの革新に焦点を当てているが、時間的パターンを捉えるのに不可欠な位置エンコーディングは、あまり注目されていない。
これらのエンコーディングは、以前の作品が位置情報と交換可能なものとして扱う傾向にある時間的フットプリントなど、文脈的に混同されることが多い。
本稿では、時間的フットプリントと位置的エンコーディングの区別を重要視し、後者が時間的フットプリントだけでは提供できないアイテム間の独自のリレーショナルキューを提供することを示す。
8つのAmazonデータセットとサブセットに関する広範な実験を通じて、さまざまなエンコーディングがパフォーマンスメトリクスやトレーニング安定性に与える影響を評価します。
本稿では,新しい位置エンコーディングを導入し,測定値と安定性を両立させる統合戦略について検討する。
重要なことは、適切なエンコーディングを選択することがパフォーマンス向上の鍵であるだけでなく、堅牢で信頼性の高いSRSモデルを構築する上でも不可欠であることを実証する。
関連論文リスト
- Rethinking Addressing in Language Models via Contexualized Equivariant Positional Encoding [89.52931576290976]
トランスフォーマーは、コンテンツベースと位置ベースのアドレッシングメカニズムの両方に依存して予測を行う。
TAPEは、レイヤ間のシーケンスコンテンツを組み込むことで、位置埋め込みを強化する新しいフレームワークである。
提案手法は,パラメータ効率の良い微調整を最小限のオーバーヘッドで実現し,事前学習した変換器に容易に組み込むことができる。
論文 参考訳（メタデータ） (2025-01-01T03:23:00Z) - Improving Temporal Link Prediction via Temporal Walk Matrix Projection [23.67269478569189]
本稿では、時間的歩行行列を組み込んだTPNetと呼ばれる新しい時間的グラフニューラルネットワークを提案し、時間的情報と構造的情報の両方を同時に検討する。
TPNetは、ほとんどのデータセットで他のベースラインよりも優れており、SOTAベースラインと比較して最大で33.3倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2024-10-05T03:09:02Z) - DAPE: Data-Adaptive Positional Encoding for Length Extrapolation [60.18239094672938]
位置符号化はトランスにおいて重要な役割を担い、モデル性能と一般化長に大きな影響を及ぼす。
本研究では,訓練された長さと長さの一般化の観点からモデル性能を向上させるDAPE法を提案する。
提案手法は, 他の静的位置符号化法と比較して, シーケンス長128でモデルをトレーニングし, 評価シーケンス長8192で性能を向上する。
論文 参考訳（メタデータ） (2024-05-23T15:51:24Z) - Improving Time Series Encoding with Noise-Aware Self-Supervised Learning and an Efficient Encoder [15.39384259348351]
本稿では,自然時系列におけるノイズ発生信号の存在を考慮し,一貫した表現学習を促進する革新的な学習戦略を提案する。
また,インセプションブロック内に拡張畳み込みを組み込んだエンコーダアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-06-11T04:00:11Z) - Improving Position Encoding of Transformers for Multivariate Time Series
Classification [5.467400475482668]
本稿では,時間絶対位置という時系列データ専用の絶対位置符号化手法を提案する。
次に,TAPE/eRPEとConvTranという名前の畳み込み型入力符号化を組み合わせた新しい時系列分類(MTSC)モデルを提案し,時系列データの位置とデータ埋め込みを改善する。
論文 参考訳（メタデータ） (2023-05-26T05:30:04Z) - On the Suitability of Representations for Quality Diversity Optimization
of Shapes [77.34726150561087]
進化的アルゴリズムで使用される表現、あるいは符号化は、その性能に大きな影響を及ぼす。
本研究では, 直接符号化, 辞書ベース表現, パラメトリック符号化, 合成パターン生成ネットワーク, セルオートマトンなどの表現が, 酸化メッシュの生成に与える影響について比較した。
論文 参考訳（メタデータ） (2023-04-07T07:34:23Z) - Temporal Saliency Detection Towards Explainable Transformer-based
Timeseries Forecasting [3.046315755726937]
本稿では、注意機構を基盤として、マルチ水平時系列予測に適用する効果的なアプローチであるTSD(Temporal Saliency Detection)を提案する。
TSD手法は, 多重ヘッドを凝縮することにより, 多分解能パターンの多分解能解析を容易にし, 複雑な時系列データの予測を段階的に向上させる。
論文 参考訳（メタデータ） (2022-12-15T12:47:59Z) - CCVS: Context-aware Controllable Video Synthesis [95.22008742695772]
プレゼンテーションでは、古いビデオクリップから新しいビデオクリップを合成するための自己教師付き学習アプローチを紹介している。
時間的連続性のための文脈情報と微妙な制御のための補助情報に基づいて合成過程を規定する。
論文 参考訳（メタデータ） (2021-07-16T17:57:44Z) - RobustScanner: Dynamically Enhancing Positional Clues for Robust Text
Recognition [31.62436356768889]
文字レベルのシーケンスデコーダは文脈情報だけでなく位置情報も利用することを示す。
本稿では,新たな位置強調分岐を提案し,シーンテキスト認識のためのデコーダアテンションモジュールと出力を動的に融合する。
提案手法はemphRobustScannerと呼ばれ、文脈と位置の手がかりの動的比で個々の文字を復号する。
論文 参考訳（メタデータ） (2020-07-15T08:37:40Z) - A Transformer-based Approach for Source Code Summarization [86.08359401867577]
コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。
アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
論文 参考訳（メタデータ） (2020-05-01T23:29:36Z) - Forecasting Sequential Data using Consistent Koopman Autoencoders [52.209416711500005]
クープマン理論に関連する新しい物理学に基づく手法が導入された。
本稿では,既存の作業の多くと異なり,前方・後方のダイナミクスを生かした新しいコンシスタント・クープマン・オートエンコーダモデルを提案する。
このアプローチの鍵となるのは、一貫性のある力学と関連するクープマン作用素との相互作用を探索する新しい解析である。
論文 参考訳（メタデータ） (2020-03-04T18:24:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。