論文の概要: Positional encoding is not the same as context: A study on positional encoding for sequential recommendation

• arxiv url: http://arxiv.org/abs/2405.10436v2
• Date: Tue, 21 Jan 2025 12:37:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 19:37:18.806456
• Title: Positional encoding is not the same as context: A study on positional encoding for sequential recommendation
• Title（参考訳）: 位置符号化は文脈と同一ではない:逐次的推薦のための位置符号化に関する研究
• Authors: Alejo Lopez-Avila, Jinhua Du, Abbas Shimary, Ze Li,
• Abstract要約: 位置エンコーディングは 時間的パターンを捉えるのに 不可欠です 後者は、時間的フットプリントだけでは提供できないアイテム間のユニークなキューを提供する。 我々は、新しい位置エンコーディングを導入し、メトリクスと安定性の両方を改善する統合戦略について検討する。
• 参考スコア（独自算出の注目度）: 2.5321789560873307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid growth of streaming media and e-commerce has driven advancements in recommendation systems, particularly Sequential Recommendation Systems (SRS). These systems employ users' interaction histories to predict future preferences. While recent research has focused on architectural innovations like transformer blocks and feature extraction, positional encodings, crucial for capturing temporal patterns, have received less attention. These encodings are often conflated with contextual, such as the temporal footprint, which previous works tend to treat as interchangeable with positional information. This paper highlights the critical distinction between temporal footprint and positional encodings, demonstrating that the latter offers unique relational cues between items, which the temporal footprint alone cannot provide. Through extensive experimentation on eight Amazon datasets and subsets, we assess the impact of various encodings on performance metrics and training stability. We introduce new positional encodings and investigate integration strategies that improve both metrics and stability, surpassing state-of-the-art results at the time of this work's initial preprint. Importantly, we demonstrate that selecting the appropriate encoding is not only key to better performance but also essential for building robust, reliable SRS models.
• Abstract（参考訳）: ストリーミングメディアとeコマースの急速な成長はレコメンデーションシステム、特にシークエンシャルレコメンデーションシステム(SRS)の進歩を促している。 これらのシステムは、将来の嗜好を予測するために、ユーザのインタラクション履歴を利用する。 最近の研究は、トランスフォーマーブロックや特徴抽出のようなアーキテクチャの革新に焦点を当てているが、時間的パターンを捉えるのに不可欠な位置エンコーディングは、あまり注目されていない。 これらのエンコーディングは、以前の作品が位置情報と交換可能なものとして扱う傾向にある時間的フットプリントなど、文脈的に混同されることが多い。 本稿では、時間的フットプリントと位置的エンコーディングの区別を重要視し、後者が時間的フットプリントだけでは提供できないアイテム間の独自のリレーショナルキューを提供することを示す。 8つのAmazonデータセットとサブセットに関する広範な実験を通じて、さまざまなエンコーディングがパフォーマンスメトリクスやトレーニング安定性に与える影響を評価します。 本稿では,新しい位置エンコーディングを導入し,測定値と安定性を両立させる統合戦略について検討する。 重要なことは、適切なエンコーディングを選択することがパフォーマンス向上の鍵であるだけでなく、堅牢で信頼性の高いSRSモデルを構築する上でも不可欠であることを実証する。

関連論文リスト

• Review, Refine, Repeat: Understanding Iterative Decoding of AI Agents with Dynamic Evaluation and Selection [71.92083784393418]
  Best-of-N (BON) サンプリングのような推論時間法は、パフォーマンスを改善するための単純で効果的な代替手段を提供する。 本稿では,反復的改良と動的候補評価,検証器による選択を併用した反復的エージェント復号(IAD)を提案する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Rethinking Addressing in Language Models via Contexualized Equivariant Positional Encoding [89.52931576290976]
  トランスフォーマーは、コンテンツベースと位置ベースのアドレッシングメカニズムの両方に依存して予測を行う。 TAPEは、レイヤ間のシーケンスコンテンツを組み込むことで、位置埋め込みを強化する新しいフレームワークである。 提案手法は,パラメータ効率の良い微調整を最小限のオーバーヘッドで実現し,事前学習した変換器に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-01-01T03:23:00Z)
• Improving Temporal Link Prediction via Temporal Walk Matrix Projection [23.67269478569189]
  本稿では、時間的歩行行列を組み込んだTPNetと呼ばれる新しい時間的グラフニューラルネットワークを提案し、時間的情報と構造的情報の両方を同時に検討する。 TPNetは、ほとんどのデータセットで他のベースラインよりも優れており、SOTAベースラインと比較して最大で33.3倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2024-10-05T03:09:02Z)
• DAPE: Data-Adaptive Positional Encoding for Length Extrapolation [60.18239094672938]
  位置符号化はトランスにおいて重要な役割を担い、モデル性能と一般化長に大きな影響を及ぼす。 本研究では,訓練された長さと長さの一般化の観点からモデル性能を向上させるDAPE法を提案する。 提案手法は, 他の静的位置符号化法と比較して, シーケンス長128でモデルをトレーニングし, 評価シーケンス長8192で性能を向上する。
  論文  参考訳（メタデータ） (2024-05-23T15:51:24Z)
• Improving Transformers using Faithful Positional Encoding [55.30212768657544]
  本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。 標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
  論文  参考訳（メタデータ） (2024-05-15T03:17:30Z)
• Encoding Version History Context for Better Code Representation [13.045078976464307]
  本稿では,コードクローンを予測し,コード分類を行うために,バージョン履歴からコンテキスト情報を符号化することの潜在的な利点について,予備的な証拠を示す。 技術が一貫して機能するためには、コンテキスト、集約、モデルの異なる組み合わせを使用して、より大きなコードベースに関する包括的な調査を行う必要があります。
  論文  参考訳（メタデータ） (2024-02-06T07:35:36Z)
• Two Stones Hit One Bird: Bilevel Positional Encoding for Better Length Extrapolation [69.68831888599476]
  そこで我々は,バイレベル位置符号化と呼ばれる新しい位置符号化法を開発した。 倫理的分析は、この位置情報の絡み合いが学習をより効果的にすることを示している。 私たちのBiPEは、多種多様なテキストモダリティにおいて、幅広いタスクにわたって、より優れた長さの補間機能を持っています。
  論文  参考訳（メタデータ） (2024-01-29T18:59:07Z)
• The Locality and Symmetry of Positional Encodings [9.246374019271938]
  我々はtextbfBi Masked Language Models (BERT-style) における位置符号化の体系的研究を行う。 PEのコア関数は、局所性と対称性という2つの共通性質を同定することによって明らかにする。 2つの新しい探索タスクを導入し、現在のPEの弱点を定量化する。
  論文  参考訳（メタデータ） (2023-10-19T16:15:15Z)
• Improving Time Series Encoding with Noise-Aware Self-Supervised Learning and an Efficient Encoder [15.39384259348351]
  本稿では,自然時系列におけるノイズ発生信号の存在を考慮し,一貫した表現学習を促進する革新的な学習戦略を提案する。 また,インセプションブロック内に拡張畳み込みを組み込んだエンコーダアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-06-11T04:00:11Z)
• Improving Position Encoding of Transformers for Multivariate Time Series Classification [5.467400475482668]
  本稿では,時間絶対位置という時系列データ専用の絶対位置符号化手法を提案する。 次に,TAPE/eRPEとConvTranという名前の畳み込み型入力符号化を組み合わせた新しい時系列分類(MTSC)モデルを提案し,時系列データの位置とデータ埋め込みを改善する。
  論文  参考訳（メタデータ） (2023-05-26T05:30:04Z)
• A Frustratingly Easy Improvement for Position Embeddings via Random Padding [68.75670223005716]
  本稿では,既存の事前学習型言語モデルを変更することなく,シンプルかつ効果的なランダムパディング手法を提案する。 実験により、ランダムパディングは、応答が後位置にあるインスタンスのモデル性能を著しく改善できることが示された。
  論文  参考訳（メタデータ） (2023-05-08T17:08:14Z)
• On the Suitability of Representations for Quality Diversity Optimization of Shapes [77.34726150561087]
  進化的アルゴリズムで使用される表現、あるいは符号化は、その性能に大きな影響を及ぼす。 本研究では, 直接符号化, 辞書ベース表現, パラメトリック符号化, 合成パターン生成ネットワーク, セルオートマトンなどの表現が, 酸化メッシュの生成に与える影響について比較した。
  論文  参考訳（メタデータ） (2023-04-07T07:34:23Z)
• Temporal Saliency Detection Towards Explainable Transformer-based Timeseries Forecasting [3.046315755726937]
  本稿では、注意機構を基盤として、マルチ水平時系列予測に適用する効果的なアプローチであるTSD(Temporal Saliency Detection)を提案する。 TSD手法は, 多重ヘッドを凝縮することにより, 多分解能パターンの多分解能解析を容易にし, 複雑な時系列データの予測を段階的に向上させる。
  論文  参考訳（メタデータ） (2022-12-15T12:47:59Z)
• CCVS: Context-aware Controllable Video Synthesis [95.22008742695772]
  プレゼンテーションでは、古いビデオクリップから新しいビデオクリップを合成するための自己教師付き学習アプローチを紹介している。 時間的連続性のための文脈情報と微妙な制御のための補助情報に基づいて合成過程を規定する。
  論文  参考訳（メタデータ） (2021-07-16T17:57:44Z)
• RobustScanner: Dynamically Enhancing Positional Clues for Robust Text Recognition [31.62436356768889]
  文字レベルのシーケンスデコーダは文脈情報だけでなく位置情報も利用することを示す。 本稿では,新たな位置強調分岐を提案し,シーンテキスト認識のためのデコーダアテンションモジュールと出力を動的に融合する。 提案手法はemphRobustScannerと呼ばれ、文脈と位置の手がかりの動的比で個々の文字を復号する。
  論文  参考訳（メタデータ） (2020-07-15T08:37:40Z)
• Rethinking Positional Encoding in Language Pre-training [111.2320727291926]
  絶対的な位置符号化では、位置埋め込みと単語埋め込みに適用される付加操作が混合相関をもたらすことを示す。 我々はtextbfUntied textPositional textbfEncoding (T) を用いた textbfTransformer という新しい位置符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T13:11:02Z)
• A Transformer-based Approach for Source Code Summarization [86.08359401867577]
  コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。 アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
  論文  参考訳（メタデータ） (2020-05-01T23:29:36Z)
• Forecasting Sequential Data using Consistent Koopman Autoencoders [52.209416711500005]
  クープマン理論に関連する新しい物理学に基づく手法が導入された。 本稿では,既存の作業の多くと異なり,前方・後方のダイナミクスを生かした新しいコンシスタント・クープマン・オートエンコーダモデルを提案する。 このアプローチの鍵となるのは、一貫性のある力学と関連するクープマン作用素との相互作用を探索する新しい解析である。
  論文  参考訳（メタデータ） (2020-03-04T18:24:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。