論文の概要: ClockRoPE: Random Fourier Rotations for Temporal Routine Modeling
- arxiv url: http://arxiv.org/abs/2607.26369v1
- Date: Wed, 29 Jul 2026 01:07:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.505383
- Title: ClockRoPE: Random Fourier Rotations for Temporal Routine Modeling
- Title（参考訳）: ClockRoPE: 時間周期モデリングのためのランダムフーリエ回転
- Abstract要約: RoPE(Rotary Position Embedding)は、トランスフォーマーベースの大規模言語モデルで広く採用されている。
本稿では,周期的注意変調関数から回転周波数を導出する逐次レコメンデーションにおけるルーチンモデリングのためのClockRoPEを提案する。
オンラインA/Bテストでは、ClockRoPEは価値あるエンゲージメントのメトリクスを一貫した改善を示し、主要なビデオ共有プラットフォームでプロダクションスケールの生成検索システムにデプロイされた。
- 参考スコア（独自算出の注目度）: 15.578764256000925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rotary Position Embedding (RoPE) has been widely adopted in transformer-based large language models. However, its log-linear frequency schedule, originally designed to produce long-term attention decay, limits its adoption in domains with more complex distance-correlation patterns, such as temporal periodicity in sequential recommendation. We investigate the expressiveness of general query/key rotations and find that any normalized continuous positive-definite attention modulation function can be approximated by random rotations induced by its own Fourier transform, which we term Random Fourier Rotations. Building on this theory, we propose ClockRoPE for routine modeling in sequential recommendation, where rotation frequencies are derived from periodic attention modulation functions. In online A/B tests, ClockRoPE demonstrates consistent improvements in valued engagement metrics, and has been successfully deployed in production-scale generative retrieval system at a major video-sharing platform.
- Abstract（参考訳）: RoPE(Rotary Position Embedding)は、トランスフォーマーベースの大規模言語モデルで広く採用されている。
しかし、その対数線形周波数スケジュールは、もともと長期の注意減衰を生じさせるように設計されており、時間周期性のようなより複雑な距離相関パターンを持つ領域における採用を制限している。
一般問合せ/鍵回転の表現性について検討し、正規化された連続正定注意変調関数は、ランダムフーリエ変換(ランダムフーリエ回転)によって誘導されるランダムな回転によって近似できることを示した。
この理論に基づいて、周期的アテンション変調関数から回転周波数を導出する逐次レコメンデーションにおけるルーチンモデリングのためのClockRoPEを提案する。
オンラインA/Bテストでは、ClockRoPEは価値あるエンゲージメントのメトリクスを一貫した改善を示し、主要なビデオ共有プラットフォームでプロダクションスケールの生成検索システムにデプロイされた。
関連論文リスト
- Disentangling the Expressivity of RoPE [53.85490969529292]
完全一様で有限精度のソフトアテンション変換器のアカウントを定式化する。
すべての回転成分が周期的であると、RoPE変換器はモジュラー述語で過去の時間論理で定義可能な言語を正確に認識する。
論文 参考訳（メタデータ） (2026-08-12T10:37:21Z) - A Unified Frequency Domain Decomposition Framework for Interpretable and Robust Time Series Forecasting [81.73338008264115]
時系列予測の現在のアプローチは、時間領域であれ周波数領域であれ、主に線形層やトランスフォーマーに基づいたディープラーニングモデルを使用する。
本稿では,多種多様な時系列を数学的に抽象化する統合周波数領域分解フレームワークFIREを提案する。
火は長期予測ベンチマークで最先端のモデルを一貫して上回る。
論文 参考訳（メタデータ） (2025-10-11T09:59:25Z) - Stationarity Exploration for Multivariate Time Series Forecasting [16.66747488602513]
APRNet(Amplitude-Phase Reconstruct Network)を提案する。
APRNetは振幅と位相の相互関係をモデル化し、振幅と位相が異なる物理量で制約されるのを防ぐ。
局所関数に適応的に適合する新しいKLCモジュールを提案する。
論文 参考訳（メタデータ） (2025-08-12T13:15:51Z) - Fourier Basis Mapping: A Time-Frequency Learning Framework for Time Series Forecasting [25.304812011127257]
本稿では,時間周波数空間におけるフーリエ基底展開とマッピングによる時間周波数特徴の統合手法を提案する。
本手法は時間的特性を保ちながら明確な周波数特徴を抽出する。
結果は、長期および短期の予測タスクにおいて、多様な実世界のデータセットで検証される。
論文 参考訳（メタデータ） (2025-07-13T01:45:27Z) - MFRS: A Multi-Frequency Reference Series Approach to Scalable and Accurate Time-Series Forecasting [51.94256702463408]
時系列予測は、周波数の異なる周期特性から導かれる。
マルチ周波数参照系列相関解析に基づく新しい時系列予測手法を提案する。
主要なオープンデータセットと合成データセットの実験は、最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2025-03-11T11:40:14Z) - FreEformer: Frequency Enhanced Transformer for Multivariate Time Series Forecasting [17.738942892605234]
本稿は,textbfFrequency textbfEnhanced Transtextbfformerを利用した,シンプルで効果的なモデルである textbfFreEformerを提案する。
実験により、FreEformerは18の現実世界のベンチマークで最先端のモデルより一貫して優れていることが示された。
論文 参考訳（メタデータ） (2025-01-23T08:53:45Z) - WaveRoRA: Wavelet Rotary Route Attention for Multivariate Time Series Forecasting [4.680374146155483]
本稿では,時系列データの複雑な時間依存性をモデル化するウェーブレット学習フレームワークを提案する。
ウェーブレット領域は時間と周波数情報を統合し、異なるスケールでの信号の局所特性の分析を可能にする。
回転路注意機構(Rotary Route Attention, RoRA)を提案する。
論文 参考訳（メタデータ） (2024-10-30T02:36:55Z) - Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための因果変換器Timer-XLを提案する。
大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
論文 参考訳（メタデータ） (2024-10-07T07:27:39Z) - PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。
この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。
本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2024-08-20T01:56:07Z) - Deep Frequency Derivative Learning for Non-stationary Time Series Forecasting [12.989064148254936]
非定常時系列予測のためのディープ周波数微分学習フレームワークDERITSを提案する。
具体的には、DERITSは、新しい可逆変換、すなわち周波数微分変換(FDT)に基づいて構築される。
論文 参考訳（メタデータ） (2024-06-29T17:56:59Z) - WFTNet: Exploiting Global and Local Periodicity in Long-term Time Series
Forecasting [61.64303388738395]
本稿では,長期連続予測のためのWavelet-Fourier Transform Network (WFTNet)を提案する。
さまざまな時系列データセットのテストでは、WFTNetは他の最先端のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2023-09-20T13:44:18Z) - Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。
この研究は、単一変換による周波数領域学習のための青写真を導入している。
論文 参考訳（メタデータ） (2022-11-26T01:56:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。