論文の概要: T-RoPE: Time-Aware Rotary Position Embedding for Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2609.30576v1
• Date: Thu, 24 Sep 2026 21:39:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.147662
• Title: T-RoPE: Time-Aware Rotary Position Embedding for Sequential Recommendation
• Title（参考訳）: T-RoPE:シーケンシャルレコメンデーションのためのタイムアウェアな回転位置埋め込み
• Abstract要約: 大きな言語モデルでは、Rotary Position Embedding (RoPE) は相対的な位置推論のためのトークンインデックスを符号化するが、インタラクションインデックスはイベント順序のみを記録する。 T-RoPEは、インデックスのみの回転をタイムスタンプベースの角度、学習可能な時間係数、マルチスケールの周波数バンク、シフトクエリアライメント、非定常鍵回転に置き換えるシーケンシャルな生成レコメンデーションのためのタイムアウェアなRoPEである。
• 参考スコア（独自算出の注目度）: 11.868100403350319
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale recommenders increasingly adopt the sequential generative recipe behind large language models, bringing the Transformer into recommendation along with design choices made for text, including Rotary Position Embedding (RoPE). In language models, RoPE encodes token indices for relative position reasoning, but in recommendation, an interaction index records only event order, saying nothing about elapsed time, behavioral cycles across scales, or calendar phase. We revisit this choice and propose T-RoPE, a time-aware RoPE for sequential generative recommendation that replaces index-only rotation with timestamp-based angles, learnable temporal coefficients, multiscale frequency banks, shifted query alignment, and non-stationary key rotation. We prove that standard RoPE, even on timestamps, remains time-translation invariant and cannot distinguish seasonal contexts, and that T-RoPE breaks this invariance while preserving the RoPE interface. Across five public benchmarks, T-RoPE achieves the best result on every metric on every dataset, improving over the strongest baseline by 78--130\% in HR@10 on the sparse PixelRec data and 8--12\% across metrics on Amazon Books. On an industrial-scale e-commerce dataset with more than 6B interactions, it improves every metric over the HSTU + Time RAB backbone by 13--82\%, with ablations attributing the largest gains to multiscale frequencies ($+56\%$ NDCG@50) and non-stationary keys ($+4\%$). An online A/B test in the Shop app yields positive lifts in conversion rate ($+0.33\%$) and order count ($+0.63\%$). We also provide forward and backward algorithms whose added cost is linear in sequence length and head dimension, keeping time-aware RoPE practical for large generative recommenders.
• Abstract（参考訳）: 大規模レコメンデータは、大規模な言語モデルの背後にあるシーケンシャルな生成レシピをますます採用し、Transformerを推奨し、Rotary Position Embedding (RoPE)を含むテキストのための設計選択も行うようになった。 言語モデルでは、RoPEは相対的な位置推論のためのトークンインデックスをエンコードするが、推奨では、インタラクションインデックスはイベント順序のみを記録し、経過した時間、スケールにわたる行動サイクル、カレンダーフェーズについては何も言わない。 我々は、この選択を再考し、インデックスのみの回転をタイムスタンプベースの角度、学習可能な時間係数、マルチスケールの周波数バンク、シフトクエリアライメント、非定常鍵回転に置き換える、逐次生成レコメンデーションのための時系列RoPEであるT-RoPEを提案する。 タイムスタンプ上でも標準のRoPEは時変不変であり、季節的文脈を区別できないこと、そしてT-RoPEはRoPEインタフェースを保ちながらこの不変性を破っていることを証明した。 5つの公開ベンチマークで、T-RoPEはデータセット毎のメトリック毎の最高の結果を達成し、スパースなPixelRecデータではHR@10で78-130\%、Amazon Booksでは8-12\%という最強のベースラインよりも改善されている。 6B以上のインタラクションを持つ産業規模のeコマースデータセットでは、HSTU + Time RABバックボーン上のすべてのメトリックを13-82-%改善し、マルチスケールの周波数(+56\%$ NDCG@50)と非定常キー(+4\%$)に対する最大の利益をもたらす。 ShopアプリのオンラインA/Bテストでは、コンバージョンレート(+0.33\%$)と注文数(+0.63\%$)の正の上昇率が得られる。 また, 提案手法は, 時系列長, 頭部寸法の線形化を図り, 大規模生成レコメンデーションにおいて, 時間を考慮したRoPEを実用的に維持する。

関連論文リスト

• LeRoPE: Learnable RoPE Frequencies Improve Language Modeling [20.518459444800474]
  我々は、高ノルム位置のLeRoPEバンドの出現を観察し、解析する。 LeRoPEはすべてのスケールでRoPEと部分RoPEを一貫して上回る。
  論文  参考訳（メタデータ） (2026-07-11T05:47:23Z)
• RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways [52.94485753759119]
  RoPE(Rotary Position Embeddings)は、位置相対的だが、位置盲点を残している。 本稿では,キーを同時に回転させることにより,パラメータフリーな値に感応性を持たせるRoVEを提案し,RoPEの注意を注意的畳み込みに変換することを示す。
  論文  参考訳（メタデータ） (2026-06-09T09:56:50Z)
• Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation [86.62036852878354]
  大規模言語モデル(LLM)は、信頼性の高い長文理解を必要とする設定でますます運用される。 位置ロバスト性を向上させるトレーニングレギュレータであるRoPE-Perturbed Self-Distillationを提案する。 Llama-3-8BとQwen-3-4Bの長文適応実験は、長文ベンチマークにおいて一貫した利得を示す。
  論文  参考訳（メタデータ） (2026-04-15T18:46:35Z)
• Selective Rotary Position Embedding [84.22998043041198]
  テキストインプットに依存した回転型埋め込み機構であるtextitSelective RoPE を導入する。 我々は,問合せキー対上で,これらの回転の隠れ形式を,ソフトマックスアテンションがすでに実行していることを示す。 入力依存回転が言語モデルの性能を向上させることを実証し, ゲートトランスフォーマーにtextitSelective RoPE を組み込むことにより, 本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-11-21T16:50:00Z)
• A Circular Argument : Does RoPE need to be Equivariant for Vision? [45.33536249657655]
  数学的には、RoPEは1次元データに同変位置埋め込みを組み込むための最も一般的な解の1つであることを示す。 我々は,Mixed RoPEに類似した手法であるSpherical RoPEを提案するが,非可換ジェネレータを仮定する。
  論文  参考訳（メタデータ） (2025-11-11T15:47:54Z)
• Rotate Both Ways: Time-and-Order RoPE for Generative Recommendation [9.269504890660306]
  ジェネレーティブレコメンダ(典型的にはトランスフォーマーベースの自己回帰モデル)は、ユーザのインタラクション履歴から次の項目やアクションを予測する。 適切な設計をすれば、RoPEベースのアプローチは、時間的およびシーケンシャルな情報を共同でモデル化するより強力な代替手段になり得る、と我々は主張する。 アーリーフュージョン、スプリット・バイ・ダイム、スプリット・バイ・ヘッドの3つのインスタンスを提示する。
  論文  参考訳（メタデータ） (2025-10-23T11:44:56Z)
• Length-Aware Rotary Position Embedding for Text-Speech Alignment [8.321525172143609]
  テキスト・音声のアライメントを改善するため,RoPEの単純かつ効果的な拡張であるLARoPE(Long-Aware RoPE)を導入する。 実験の結果、LARoPEはRoPEを一貫して上回り、損失収束の高速化、テキスト音声のアライメントの精度の向上、TTS全体の品質の向上を実現している。
  論文  参考訳（メタデータ） (2025-09-14T04:25:13Z)
• Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings [29.421443764865003]
  本稿では,RoPEの回転位置埋め込みにおいて,何とどこで絡み合っているのかを解析する。 本稿では,Polar Coordinate Position Embeddings(PoPE)と呼ばれるRoPEの改良を提案する。
  論文  参考訳（メタデータ） (2025-09-05T14:22:27Z)
• Scaling Laws of RoPE-based Extrapolation [103.33995311915864]
  基本値と外挿性能の関係を記述するために,RoPEに基づく外挿法におけるtextbftextitScaling法則を提案する。 LLaMA2 7Bと13Bで最大100万の文脈長を16Kのトレーニング長で達成した。
  論文  参考訳（メタデータ） (2023-10-08T15:50:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。