論文の概要: Positional encoding is not the same as context: A study on positional encoding for sequential recommendation

• arxiv url: http://arxiv.org/abs/2405.10436v2
• Date: Tue, 21 Jan 2025 12:37:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:17:17.059019
• Title: Positional encoding is not the same as context: A study on positional encoding for sequential recommendation
• Title（参考訳）: 位置符号化は文脈と同一ではない:逐次的推薦のための位置符号化に関する研究
• Authors: Alejo Lopez-Avila, Jinhua Du, Abbas Shimary, Ze Li,
• Abstract要約: 位置エンコーディングは 時間的パターンを捉えるのに 不可欠です 後者は、時間的フットプリントだけでは提供できないアイテム間のユニークなキューを提供する。 我々は、新しい位置エンコーディングを導入し、メトリクスと安定性の両方を改善する統合戦略について検討する。
• 参考スコア（独自算出の注目度）: 2.5321789560873307
• License:
• Abstract: The rapid growth of streaming media and e-commerce has driven advancements in recommendation systems, particularly Sequential Recommendation Systems (SRS). These systems employ users' interaction histories to predict future preferences. While recent research has focused on architectural innovations like transformer blocks and feature extraction, positional encodings, crucial for capturing temporal patterns, have received less attention. These encodings are often conflated with contextual, such as the temporal footprint, which previous works tend to treat as interchangeable with positional information. This paper highlights the critical distinction between temporal footprint and positional encodings, demonstrating that the latter offers unique relational cues between items, which the temporal footprint alone cannot provide. Through extensive experimentation on eight Amazon datasets and subsets, we assess the impact of various encodings on performance metrics and training stability. We introduce new positional encodings and investigate integration strategies that improve both metrics and stability, surpassing state-of-the-art results at the time of this work's initial preprint. Importantly, we demonstrate that selecting the appropriate encoding is not only key to better performance but also essential for building robust, reliable SRS models.
• Abstract（参考訳）: ストリーミングメディアとeコマースの急速な成長はレコメンデーションシステム、特にシークエンシャルレコメンデーションシステム(SRS)の進歩を促している。 これらのシステムは、将来の嗜好を予測するために、ユーザのインタラクション履歴を利用する。 最近の研究は、トランスフォーマーブロックや特徴抽出のようなアーキテクチャの革新に焦点を当てているが、時間的パターンを捉えるのに不可欠な位置エンコーディングは、あまり注目されていない。 これらのエンコーディングは、以前の作品が位置情報と交換可能なものとして扱う傾向にある時間的フットプリントなど、文脈的に混同されることが多い。 本稿では、時間的フットプリントと位置的エンコーディングの区別を重要視し、後者が時間的フットプリントだけでは提供できないアイテム間の独自のリレーショナルキューを提供することを示す。 8つのAmazonデータセットとサブセットに関する広範な実験を通じて、さまざまなエンコーディングがパフォーマンスメトリクスやトレーニング安定性に与える影響を評価します。 本稿では,新しい位置エンコーディングを導入し,測定値と安定性を両立させる統合戦略について検討する。 重要なことは、適切なエンコーディングを選択することがパフォーマンス向上の鍵であるだけでなく、堅牢で信頼性の高いSRSモデルを構築する上でも不可欠であることを実証する。

関連論文リスト

• DAPE: Data-Adaptive Positional Encoding for Length Extrapolation [60.18239094672938]
  位置符号化はトランスにおいて重要な役割を担い、モデル性能と一般化長に大きな影響を及ぼす。 本研究では,訓練された長さと長さの一般化の観点からモデル性能を向上させるDAPE法を提案する。 提案手法は, 他の静的位置符号化法と比較して, シーケンス長128でモデルをトレーニングし, 評価シーケンス長8192で性能を向上する。
  論文  参考訳（メタデータ） (2024-05-23T15:51:24Z)
• Improving Transformers using Faithful Positional Encoding [55.30212768657544]
  本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。 標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
  論文  参考訳（メタデータ） (2024-05-15T03:17:30Z)
• Encoding Version History Context for Better Code Representation [13.045078976464307]
  本稿では,コードクローンを予測し,コード分類を行うために,バージョン履歴からコンテキスト情報を符号化することの潜在的な利点について,予備的な証拠を示す。 技術が一貫して機能するためには、コンテキスト、集約、モデルの異なる組み合わせを使用して、より大きなコードベースに関する包括的な調査を行う必要があります。
  論文  参考訳（メタデータ） (2024-02-06T07:35:36Z)
• Two Stones Hit One Bird: Bilevel Positional Encoding for Better Length Extrapolation [69.68831888599476]
  そこで我々は,バイレベル位置符号化と呼ばれる新しい位置符号化法を開発した。 倫理的分析は、この位置情報の絡み合いが学習をより効果的にすることを示している。 私たちのBiPEは、多種多様なテキストモダリティにおいて、幅広いタスクにわたって、より優れた長さの補間機能を持っています。
  論文  参考訳（メタデータ） (2024-01-29T18:59:07Z)
• The Locality and Symmetry of Positional Encodings [9.246374019271938]
  我々はtextbfBi Masked Language Models (BERT-style) における位置符号化の体系的研究を行う。 PEのコア関数は、局所性と対称性という2つの共通性質を同定することによって明らかにする。 2つの新しい探索タスクを導入し、現在のPEの弱点を定量化する。
  論文  参考訳（メタデータ） (2023-10-19T16:15:15Z)
• Improving Position Encoding of Transformers for Multivariate Time Series Classification [5.467400475482668]
  本稿では,時間絶対位置という時系列データ専用の絶対位置符号化手法を提案する。 次に,TAPE/eRPEとConvTranという名前の畳み込み型入力符号化を組み合わせた新しい時系列分類(MTSC)モデルを提案し,時系列データの位置とデータ埋め込みを改善する。
  論文  参考訳（メタデータ） (2023-05-26T05:30:04Z)
• A Frustratingly Easy Improvement for Position Embeddings via Random Padding [68.75670223005716]
  本稿では,既存の事前学習型言語モデルを変更することなく,シンプルかつ効果的なランダムパディング手法を提案する。 実験により、ランダムパディングは、応答が後位置にあるインスタンスのモデル性能を著しく改善できることが示された。
  論文  参考訳（メタデータ） (2023-05-08T17:08:14Z)
• RobustScanner: Dynamically Enhancing Positional Clues for Robust Text Recognition [31.62436356768889]
  文字レベルのシーケンスデコーダは文脈情報だけでなく位置情報も利用することを示す。 本稿では,新たな位置強調分岐を提案し,シーンテキスト認識のためのデコーダアテンションモジュールと出力を動的に融合する。 提案手法はemphRobustScannerと呼ばれ、文脈と位置の手がかりの動的比で個々の文字を復号する。
  論文  参考訳（メタデータ） (2020-07-15T08:37:40Z)
• Rethinking Positional Encoding in Language Pre-training [111.2320727291926]
  絶対的な位置符号化では、位置埋め込みと単語埋め込みに適用される付加操作が混合相関をもたらすことを示す。 我々はtextbfUntied textPositional textbfEncoding (T) を用いた textbfTransformer という新しい位置符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T13:11:02Z)
• A Transformer-based Approach for Source Code Summarization [86.08359401867577]
  コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。 アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
  論文  参考訳（メタデータ） (2020-05-01T23:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。