論文の概要: Positional encoding is not the same as context: A study on positional encoding for Sequential recommendation

• arxiv url: http://arxiv.org/abs/2405.10436v1
• Date: Thu, 16 May 2024 20:42:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 17:33:08.612652
• Title: Positional encoding is not the same as context: A study on positional encoding for Sequential recommendation
• Title（参考訳）: 位置符号化は文脈と同一ではない:逐次的推薦のための位置符号化に関する研究
• Authors: Alejo Lopez-Avila, Jinhua Du, Abbas Shimary, Ze Li,
• Abstract要約: 我々は位置エンコーディングを分析し、時間的フットプリントから推測できない項目間で相対的な情報を提供することを示す。 Amazonデータセットを使用して、さまざまなエンコーディングと、それらがメトリクスや安定性に与える影響を評価します。
• 参考スコア（独自算出の注目度）: 2.5321789560873307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The expansion of streaming media and e-commerce has led to a boom in recommendation systems, including Sequential recommendation systems, which consider the user's previous interactions with items. In recent years, research has focused on architectural improvements such as transformer blocks and feature extraction that can augment model information. Among these features are context and attributes. Of particular importance is the temporal footprint, which is often considered part of the context and seen in previous publications as interchangeable with positional information. Other publications use positional encodings with little attention to them. In this paper, we analyse positional encodings, showing that they provide relative information between items that are not inferable from the temporal footprint. Furthermore, we evaluate different encodings and how they affect metrics and stability using Amazon datasets. We added some new encodings to help with these problems along the way. We found that we can reach new state-of-the-art results by finding the correct positional encoding, but more importantly, certain encodings stabilise the training.
• Abstract（参考訳）: ストリーミングメディアとeコマースの拡大は、ユーザーが以前アイテムとやりとりしていたことを考慮に入れたシークエンシャルレコメンデーションシステムを含むレコメンデーションシステムのブームに繋がった。 近年,モデル情報の拡張が可能なトランスフォーマーブロックや特徴抽出などのアーキテクチャ改善に焦点が当てられている。 これらの特徴には、コンテキストと属性がある。 特に重要なのは、時間的フットプリントであり、しばしば文脈の一部と見なされ、以前の出版物では位置情報と交換可能であると見なされる。 他の出版物では、位置エンコーディングにはほとんど注意を払わない。 本稿では,時間的フットプリントから推定できない項目間の相対的な情報を提供し,位置エンコーディングの分析を行う。 さらに、Amazonデータセットを使用して、異なるエンコーディングと、それらがメトリクスや安定性に与える影響を評価する。 途中でこれらの問題を解決するために、いくつかの新しいエンコーディングを追加しました。 その結果, 正しい位置エンコーディングを見つけることで, 新たな最先端結果が得られることがわかったが, さらに重要なことは, 特定のエンコーディングがトレーニングを安定化させることである。

関連論文リスト

• CAPE: Context-Adaptive Positional Encoding for Length Extrapolation [60.18239094672938]
  位置符号化はトランスにおいて重要な役割を担い、モデルの性能と長さの一般化に大きな影響を及ぼす。 文脈適応型位置決め法を提案する。 CAPE法 - 入力コンテキストと学習先行情報に基づいて意味的に調整する。 提案手法は, 他の静的位置符号化法と比較して, シーケンス長128でモデルをトレーニングし, 評価シーケンス長8192で性能を向上する。
  論文  参考訳（メタデータ） (2024-05-23T15:51:24Z)
• Improving Transformers using Faithful Positional Encoding [55.30212768657544]
  本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。 標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
  論文  参考訳（メタデータ） (2024-05-15T03:17:30Z)
• Two Stones Hit One Bird: Bilevel Positional Encoding for Better Length Extrapolation [69.68831888599476]
  そこで我々は,バイレベル位置符号化と呼ばれる新しい位置符号化法を開発した。 倫理的分析は、この位置情報の絡み合いが学習をより効果的にすることを示している。 私たちのBiPEは、多種多様なテキストモダリティにおいて、幅広いタスクにわたって、より優れた長さの補間機能を持っています。
  論文  参考訳（メタデータ） (2024-01-29T18:59:07Z)
• The Locality and Symmetry of Positional Encodings [9.246374019271938]
  我々はtextbfBi Masked Language Models (BERT-style) における位置符号化の体系的研究を行う。 PEのコア関数は、局所性と対称性という2つの共通性質を同定することによって明らかにする。 2つの新しい探索タスクを導入し、現在のPEの弱点を定量化する。
  論文  参考訳（メタデータ） (2023-10-19T16:15:15Z)
• Improving Position Encoding of Transformers for Multivariate Time Series Classification [5.467400475482668]
  本稿では,時間絶対位置という時系列データ専用の絶対位置符号化手法を提案する。 次に,TAPE/eRPEとConvTranという名前の畳み込み型入力符号化を組み合わせた新しい時系列分類(MTSC)モデルを提案し,時系列データの位置とデータ埋め込みを改善する。
  論文  参考訳（メタデータ） (2023-05-26T05:30:04Z)
• A Frustratingly Easy Improvement for Position Embeddings via Random Padding [68.75670223005716]
  本稿では,既存の事前学習型言語モデルを変更することなく,シンプルかつ効果的なランダムパディング手法を提案する。 実験により、ランダムパディングは、応答が後位置にあるインスタンスのモデル性能を著しく改善できることが示された。
  論文  参考訳（メタデータ） (2023-05-08T17:08:14Z)
• RobustScanner: Dynamically Enhancing Positional Clues for Robust Text Recognition [31.62436356768889]
  文字レベルのシーケンスデコーダは文脈情報だけでなく位置情報も利用することを示す。 本稿では,新たな位置強調分岐を提案し,シーンテキスト認識のためのデコーダアテンションモジュールと出力を動的に融合する。 提案手法はemphRobustScannerと呼ばれ、文脈と位置の手がかりの動的比で個々の文字を復号する。
  論文  参考訳（メタデータ） (2020-07-15T08:37:40Z)
• Rethinking Positional Encoding in Language Pre-training [111.2320727291926]
  絶対的な位置符号化では、位置埋め込みと単語埋め込みに適用される付加操作が混合相関をもたらすことを示す。 我々はtextbfUntied textPositional textbfEncoding (T) を用いた textbfTransformer という新しい位置符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T13:11:02Z)
• A Transformer-based Approach for Source Code Summarization [86.08359401867577]
  コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。 アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
  論文  参考訳（メタデータ） (2020-05-01T23:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。