論文の概要: Rotate Both Ways: Time-and-Order RoPE for Generative Recommendation

• arxiv url: http://arxiv.org/abs/2510.20455v1
• Date: Thu, 23 Oct 2025 11:44:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:17.835676
• Title: Rotate Both Ways: Time-and-Order RoPE for Generative Recommendation
• Title（参考訳）: Rotate both ways: Time-and-order RoPE for Generative Recommendation
• Authors: Xiaokai Wei, Jiajun Wu, Daiyao Yi, Reza Shirkavand, Michelle Gong,
• Abstract要約: ジェネレーティブレコメンダ(典型的にはトランスフォーマーベースの自己回帰モデル)は、ユーザのインタラクション履歴から次の項目やアクションを予測する。 適切な設計をすれば、RoPEベースのアプローチは、時間的およびシーケンシャルな情報を共同でモデル化するより強力な代替手段になり得る、と我々は主張する。 アーリーフュージョン、スプリット・バイ・ダイム、スプリット・バイ・ヘッドの3つのインスタンスを提示する。
• 参考スコア（独自算出の注目度）: 9.269504890660306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative recommenders, typically transformer-based autoregressive models, predict the next item or action from a user's interaction history. Their effectiveness depends on how the model represents where an interaction event occurs in the sequence (discrete index) and when it occurred in wall-clock time. Prevailing approaches inject time via learned embeddings or relative attention biases. In this paper, we argue that RoPE-based approaches, if designed properly, can be a stronger alternative for jointly modeling temporal and sequential information in user behavior sequences. While vanilla RoPE in LLMs considers only token order, generative recommendation requires incorporating both event time and token index. To address this, we propose Time-and-Order RoPE (TO-RoPE), a family of rotary position embedding designs that treat index and time as angle sources shaping the query-key geometry directly. We present three instantiations: early fusion, split-by-dim, and split-by-head. Extensive experiments on both publicly available datasets and a proprietary industrial dataset show that TO-RoPE variants consistently improve accuracy over existing methods for encoding time and index. These results position rotary embeddings as a simple, principled, and deployment-friendly foundation for generative recommendation.
• Abstract（参考訳）: ジェネレーティブレコメンダ(典型的にはトランスフォーマーベースの自己回帰モデル)は、ユーザのインタラクション履歴から次の項目やアクションを予測する。 それらの有効性は、シーケンス(離散指数)における相互作用イベントの発生場所と、それがウォールクロック時間で発生した時刻をモデルがどのように表現するかに依存する。 一般的なアプローチは、学習された埋め込みや相対的な注意バイアスを通じて時間を注入する。 本稿では,RoPEに基づくアプローチが,適切に設計すれば,ユーザの行動系列の時間的およびシーケンシャルな情報を協調的にモデル化する上で,より強力な代替手段になり得ることを論じる。 LLM のバニラ RoPE はトークン順序のみを考慮するが、生成レコメンデーションにはイベント時間とトークンインデックスの両方を組み込む必要がある。 そこで本研究では,時間と時間を直接アングルソースとして扱う回転位置埋め込み設計系であるTO-RoPE(Time-and-Order RoPE)を提案する。 アーリーフュージョン、スプリット・バイ・ダイム、スプリット・バイ・ヘッドの3つのインスタンスを提示する。 公開データセットとプロプライエタリな産業データセットの両方に関する大規模な実験により、TO-RoPEの変種は、時間とインデックスを符号化する既存の方法よりも、常に正確であることが示された。 これらの結果は、回転埋め込みを、生成的推薦のための単純で原則化された、配置に優しい基礎として位置づけている。

関連論文リスト

• Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings [29.421443764865003]
  本稿では,RoPEの回転位置埋め込みにおいて,何とどこで絡み合っているのかを解析する。 本稿では,Polar Coordinate Position Embeddings(PoPE)と呼ばれるRoPEの改良を提案する。
  論文  参考訳（メタデータ） (2025-09-05T14:22:27Z)
• Context-aware Rotary Position Embedding [0.0]
  RoPE(Rotary Positional Embeddings)は、相対的な位置符号化と計算効率との互換性から広く採用されている。 トークン埋め込みを前提とした頭部特異的な周波数パターンを動的に生成するRoPEの新たな一般化であるCARoPE(Context-Aware Rotary Positional Embedding)を提案する。 CaroPEは、RoPEや他の一般的な位置符号化ベースラインを一貫して上回り、より長いコンテキスト長でも非常に低いパープレキシティを実現している。
  論文  参考訳（メタデータ） (2025-07-30T20:32:19Z)
• Multi-granularity Interest Retrieval and Refinement Network for Long-Term User Behavior Modeling in CTR Prediction [68.90783662117936]
  クリックスルーレート(CTR)の予測は、オンラインパーソナライズプラットフォームにとって不可欠である。 近年の進歩は、リッチなユーザの振る舞いをモデル化することで、CTR予測の性能を大幅に改善できることを示している。 マルチグラニュラリティ興味検索ネットワーク(MIRRN)を提案する。
  論文  参考訳（メタデータ） (2024-11-22T15:29:05Z)
• Sequential Recommendation on Temporal Proximities with Contrastive Learning and Self-Attention [3.7182810519704095]
  逐次リコメンデータシステムは、過去のインタラクションからユーザの好みを識別し、後続の項目を最適に予測する。 最近のモデルでは、類似の時間枠中に暗黙的に発生するユーザの行動の類似性を無視することが多い。 本稿では,時間的近接性を考慮したコントラスト学習と自己認識手法を含む,TemProxRecという逐次レコメンデーションモデルを提案する。
  論文  参考訳（メタデータ） (2024-02-15T08:33:16Z)
• MomentDiff: Generative Video Moment Retrieval from Random to Real [71.40038773943638]
  私たちは、MomentDiffという拡散に基づく生成フレームワークを提供しています。 MomentDiffは、ランダムなブラウジングから段階的なローカライゼーションまで、典型的な人間の検索プロセスをシミュレートする。 MomentDiffは3つの公開ベンチマークで最先端の手法を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2023-07-06T09:12:13Z)
• Exogenous Data in Forecasting: FARM -- A New Measure for Relevance Evaluation [62.997667081978825]
  FARM - Forward Relevance Aligned Metricという新しいアプローチを導入する。 我々のフォワード法は、その後のデータポイントの変化を時系列に合わせるために比較する角測度に依存する。 第1の検証ステップとして、FARMアプローチの合成信号・代表信号への適用について述べる。
  論文  参考訳（メタデータ） (2023-04-21T15:22:33Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Continuous-Time Sequential Recommendation with Temporal Graph Collaborative Transformer [69.0621959845251]
  本稿では,定義した連続時間二部グラフ上での時間グラフシーケンスレコメンダ(TGSRec)を提案する。 TCTレイヤは、ユーザとアイテムの両方からの協調的な信号を同時にキャプチャすると同時に、シーケンシャルパターン内の時間的ダイナミクスも考慮する。 5つのデータセットの実証結果は、TGSRecが他のベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-14T22:50:53Z)
• RoFormer: Enhanced Transformer with Rotary Position Embedding [9.01819510933327]
  位置情報を効果的に活用するためのRotary Position Embedding(RoPE)という新しい手法を提案する。 RoPEは絶対位置を回転行列でエンコードし、一方、自己アテンションの定式化に明示的な相対位置依存性を組み込む。 様々な長文分類ベンチマークデータセットを用いて、回転位置埋め込み(RoFormer)と呼ばれる拡張変換器の評価を行った。
  論文  参考訳（メタデータ） (2021-04-20T09:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。