論文の概要: Positional encoding is not the same as context: A study on positional encoding for Sequential recommendation
- arxiv url: http://arxiv.org/abs/2405.10436v1
- Date: Thu, 16 May 2024 20:42:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-20 17:33:08.612652
- Title: Positional encoding is not the same as context: A study on positional encoding for Sequential recommendation
- Title（参考訳）: 位置符号化は文脈と同一ではない:逐次的推薦のための位置符号化に関する研究
- Authors: Alejo Lopez-Avila, Jinhua Du, Abbas Shimary, Ze Li,
- Abstract要約: 我々は位置エンコーディングを分析し、時間的フットプリントから推測できない項目間で相対的な情報を提供することを示す。
Amazonデータセットを使用して、さまざまなエンコーディングと、それらがメトリクスや安定性に与える影響を評価します。
- 参考スコア（独自算出の注目度）: 2.5321789560873307
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The expansion of streaming media and e-commerce has led to a boom in recommendation systems, including Sequential recommendation systems, which consider the user's previous interactions with items. In recent years, research has focused on architectural improvements such as transformer blocks and feature extraction that can augment model information. Among these features are context and attributes. Of particular importance is the temporal footprint, which is often considered part of the context and seen in previous publications as interchangeable with positional information. Other publications use positional encodings with little attention to them. In this paper, we analyse positional encodings, showing that they provide relative information between items that are not inferable from the temporal footprint. Furthermore, we evaluate different encodings and how they affect metrics and stability using Amazon datasets. We added some new encodings to help with these problems along the way. We found that we can reach new state-of-the-art results by finding the correct positional encoding, but more importantly, certain encodings stabilise the training.
- Abstract（参考訳）: ストリーミングメディアとeコマースの拡大は、ユーザーが以前アイテムとやりとりしていたことを考慮に入れたシークエンシャルレコメンデーションシステムを含むレコメンデーションシステムのブームに繋がった。
近年,モデル情報の拡張が可能なトランスフォーマーブロックや特徴抽出などのアーキテクチャ改善に焦点が当てられている。
これらの特徴には、コンテキストと属性がある。
特に重要なのは、時間的フットプリントであり、しばしば文脈の一部と見なされ、以前の出版物では位置情報と交換可能であると見なされる。
他の出版物では、位置エンコーディングにはほとんど注意を払わない。
本稿では,時間的フットプリントから推定できない項目間の相対的な情報を提供し,位置エンコーディングの分析を行う。
さらに、Amazonデータセットを使用して、異なるエンコーディングと、それらがメトリクスや安定性に与える影響を評価する。
途中でこれらの問題を解決するために、いくつかの新しいエンコーディングを追加しました。
その結果, 正しい位置エンコーディングを見つけることで, 新たな最先端結果が得られることがわかったが, さらに重要なことは, 特定のエンコーディングがトレーニングを安定化させることである。
関連論文リスト
- Rethinking Addressing in Language Models via Contexualized Equivariant Positional Encoding [89.52931576290976]
トランスフォーマーは、コンテンツベースと位置ベースのアドレッシングメカニズムの両方に依存して予測を行う。
TAPEは、レイヤ間のシーケンスコンテンツを組み込むことで、位置埋め込みを強化する新しいフレームワークである。
提案手法は,パラメータ効率の良い微調整を最小限のオーバーヘッドで実現し,事前学習した変換器に容易に組み込むことができる。
論文 参考訳（メタデータ） (2025-01-01T03:23:00Z) - Improving Temporal Link Prediction via Temporal Walk Matrix Projection [23.67269478569189]
本稿では、時間的歩行行列を組み込んだTPNetと呼ばれる新しい時間的グラフニューラルネットワークを提案し、時間的情報と構造的情報の両方を同時に検討する。
TPNetは、ほとんどのデータセットで他のベースラインよりも優れており、SOTAベースラインと比較して最大で33.3倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2024-10-05T03:09:02Z) - DAPE: Data-Adaptive Positional Encoding for Length Extrapolation [60.18239094672938]
位置符号化はトランスにおいて重要な役割を担い、モデル性能と一般化長に大きな影響を及ぼす。
本研究では,訓練された長さと長さの一般化の観点からモデル性能を向上させるDAPE法を提案する。
提案手法は, 他の静的位置符号化法と比較して, シーケンス長128でモデルをトレーニングし, 評価シーケンス長8192で性能を向上する。
論文 参考訳（メタデータ） (2024-05-23T15:51:24Z) - Improving Time Series Encoding with Noise-Aware Self-Supervised Learning and an Efficient Encoder [15.39384259348351]
本稿では,自然時系列におけるノイズ発生信号の存在を考慮し,一貫した表現学習を促進する革新的な学習戦略を提案する。
また,インセプションブロック内に拡張畳み込みを組み込んだエンコーダアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-06-11T04:00:11Z) - Improving Position Encoding of Transformers for Multivariate Time Series
Classification [5.467400475482668]
本稿では,時間絶対位置という時系列データ専用の絶対位置符号化手法を提案する。
次に,TAPE/eRPEとConvTranという名前の畳み込み型入力符号化を組み合わせた新しい時系列分類(MTSC)モデルを提案し,時系列データの位置とデータ埋め込みを改善する。
論文 参考訳（メタデータ） (2023-05-26T05:30:04Z) - On the Suitability of Representations for Quality Diversity Optimization
of Shapes [77.34726150561087]
進化的アルゴリズムで使用される表現、あるいは符号化は、その性能に大きな影響を及ぼす。
本研究では, 直接符号化, 辞書ベース表現, パラメトリック符号化, 合成パターン生成ネットワーク, セルオートマトンなどの表現が, 酸化メッシュの生成に与える影響について比較した。
論文 参考訳（メタデータ） (2023-04-07T07:34:23Z) - Temporal Saliency Detection Towards Explainable Transformer-based
Timeseries Forecasting [3.046315755726937]
本稿では、注意機構を基盤として、マルチ水平時系列予測に適用する効果的なアプローチであるTSD(Temporal Saliency Detection)を提案する。
TSD手法は, 多重ヘッドを凝縮することにより, 多分解能パターンの多分解能解析を容易にし, 複雑な時系列データの予測を段階的に向上させる。
論文 参考訳（メタデータ） (2022-12-15T12:47:59Z) - CCVS: Context-aware Controllable Video Synthesis [95.22008742695772]
プレゼンテーションでは、古いビデオクリップから新しいビデオクリップを合成するための自己教師付き学習アプローチを紹介している。
時間的連続性のための文脈情報と微妙な制御のための補助情報に基づいて合成過程を規定する。
論文 参考訳（メタデータ） (2021-07-16T17:57:44Z) - RobustScanner: Dynamically Enhancing Positional Clues for Robust Text
Recognition [31.62436356768889]
文字レベルのシーケンスデコーダは文脈情報だけでなく位置情報も利用することを示す。
本稿では,新たな位置強調分岐を提案し,シーンテキスト認識のためのデコーダアテンションモジュールと出力を動的に融合する。
提案手法はemphRobustScannerと呼ばれ、文脈と位置の手がかりの動的比で個々の文字を復号する。
論文 参考訳（メタデータ） (2020-07-15T08:37:40Z) - A Transformer-based Approach for Source Code Summarization [86.08359401867577]
コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。
アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
論文 参考訳（メタデータ） (2020-05-01T23:29:36Z) - Forecasting Sequential Data using Consistent Koopman Autoencoders [52.209416711500005]
クープマン理論に関連する新しい物理学に基づく手法が導入された。
本稿では,既存の作業の多くと異なり,前方・後方のダイナミクスを生かした新しいコンシスタント・クープマン・オートエンコーダモデルを提案する。
このアプローチの鍵となるのは、一貫性のある力学と関連するクープマン作用素との相互作用を探索する新しい解析である。
論文 参考訳（メタデータ） (2020-03-04T18:24:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。