論文の概要: Learning to Rotate: Temporal and Semantic Rotary Encoding for Sequential Modeling

• arxiv url: http://arxiv.org/abs/2604.24717v1
• Date: Mon, 27 Apr 2026 17:26:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:08.269164
• Title: Learning to Rotate: Temporal and Semantic Rotary Encoding for Sequential Modeling
• Title（参考訳）: 回転の学習:時系列モデリングのための時間的・意味的な回転符号化
• Authors: Hailing Cheng, Daqi Sun, Xinyu Lu,
• Abstract要約: SIREN-RoPEを導入し、不均一な信号で回転次元をポップアップさせる。 評価モデルとしてジェネレーティブ・レコメンデータを用いた生産規模のニュースフィードデータセットの評価を行った。
• 参考スコア（独自算出の注目度）: 6.277197086409669
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Every Transformer architecture dedicates enormous capacity to learning rich representations in semantic embedding space -- yet the rotation manifold acted upon by Rotary Positional Embeddings (RoPE) has been treated as a fixed, hand-crafted structure, populated only by discrete ordinal indices. We argue that this rotation space is a largely overlooked second dimension of expressivity in the attention mechanism, one whose systematic exploration may open a new door for attention-based architectures. The analogy to complex numbers is instructive: just as introducing the imaginary axis -- orthogonal to and independent of the real line -- unlocked new algebraic structure once believed impossible, treating the rotation manifold as a learnable, signal-conditioned space opens an orthogonal degree of freedom in attention. In this framing, the token embedding encodes the semantic (real) component of a representation -- what a token means -- while the rotation encodes its dynamic (imaginary) component -- how it relates to every other token across time, position, and context. We introduce SIREN-RoPE, a concrete instantiation of this idea, which populates the rotation dimension with heterogeneous signals -- continuous timestamps, cyclical temporal patterns, and categorical metadata -- via a dual-branch Sinusoidal Representation Network (SIREN). As a proof of concept, we evaluate on a production-scale news feed dataset from a major social network using a generative recommender as the ranking model, demonstrating that activating this hidden dimension yields consistent improvements across calibration and ranking objectives with negligible computational overhead. We invite the community to view the rotation space not as a solved positional-encoding detail, but as an untapped axis whose rich structure may prove as consequential for attention as the imaginary unit proved for algebra.
• Abstract（参考訳）: 全てのトランスフォーマーアーキテクチャは、セマンティックな埋め込み空間においてリッチな表現を学習するために膨大な能力を持つが、ロータリー位置埋め込み(Rotary Positional Embeddings, RoPE)によって作用する回転多様体は固定された手作り構造として扱われており、これは個別の順序指標によってのみ占有されている。 我々は、この回転空間は注意機構における2次元の表現性のほとんど見落とされ、体系的な探索が注意に基づくアーキテクチャの新しい扉を開くかもしれないと主張する。 虚数軸(実数直線の直交と独立)を導入するのと同様に、回転多様体を学習可能で信号条件付き空間として扱うことは、注意の直交自由度を開放する。 このフレーミングでは、トークン埋め込みは表現の意味(実際の)コンポーネント -- トークンの意味 -- をエンコードし、ローテーションは動的(想像的な)コンポーネント -- をエンコードし、時間、位置、コンテキストを通じて他のすべてのトークンに関連付ける。 本稿では,このアイデアの具体的インスタンス化であるSIREN-RoPEを紹介する。SIREN-RoPEは,2分岐の正弦波表現ネットワーク(SIREN)を介して,不均一信号(連続タイムスタンプ,巡回時間パターン,カテゴリーメタデータ)で回転次元をポップアップさせる。 概念実証として,生成レコメンデータをランキングモデルとして用いて,大手ソーシャルネットワークからの大規模ニュースフィードデータセットを評価し,この隠れ次元を活性化することにより,キャリブレーションやランキングの目的に対して,計算オーバーヘッドを無視して一貫した改善が達成できることを実証した。 我々はコミュニティに対して、回転空間を解決された位置エンコードの詳細ではなく、リッチな構造が代数の虚数単位として証明されたような注意を払わせるような、未解決の軸として見るように求めている。

関連論文リスト

• Enhancing Rotation-Invariant 3D Learning with Global Pose Awareness and Attention Mechanisms [30.575822636142956]
  そこで我々は,学習された共有回転から得られる,一様に一貫した参照点(シャドウと呼ばれる)を持つローカルRI記述子を増強する,シャドウ・インフォームド・ポース・フィーチャー(SiPF)を紹介した。 また,SiPFを特徴集約プロセスに統合した注目ベースの演算子である,回転不変アテンション・コンボリューション(RIAttnConv)を提案する。
  論文  参考訳（メタデータ） (2025-11-11T23:01:28Z)
• Rotation Equivariant Arbitrary-scale Image Super-Resolution [62.41329042683779]
  任意のスケールの超解像(ASISR)は、低解像度の入力画像から任意のスケールの高分解能回復を実現することを目的としている。 本研究では, 回転同変ASISR法の構築に尽力する。
  論文  参考訳（メタデータ） (2025-08-07T08:51:03Z)
• Neuron: Learning Context-Aware Evolving Representations for Zero-Shot Skeleton Action Recognition [64.56321246196859]
  本稿では,dUalスケルトン・セマンティック・セマンティック・セマンティック・セマンティック・シンジスティック・フレームワークを提案する。 まず、時空間進化型マイクロプロトタイプを構築し、動的コンテキスト認識側情報を統合する。 本研究では,空間的圧縮と時間的記憶機構を導入し,空間的時間的マイクロプロトタイプの成長を導く。
  論文  参考訳（メタデータ） (2024-11-18T05:16:11Z)
• PARE-Net: Position-Aware Rotation-Equivariant Networks for Robust Point Cloud Registration [8.668461141536383]
  回転不変の特徴を学習することは、ポイントクラウド登録の基本的な要件である。 既存の手法では、回転に敏感なネットワークを用いて特徴を抽出し、回転拡大を用いて近似不変写像を無作為に学習する。 高速で軽量でロバストな登録のための位置認識型回転同変ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-07-14T10:26:38Z)
• Mesh Denoising Transformer [104.5404564075393]
  Mesh Denoisingは、入力メッシュからノイズを取り除き、特徴構造を保存することを目的としている。 SurfaceFormerはTransformerベースのメッシュDenoisingフレームワークのパイオニアだ。 局所曲面記述子(Local Surface Descriptor)として知られる新しい表現は、局所幾何学的複雑さをキャプチャする。 Denoising Transformerモジュールは、マルチモーダル情報を受信し、効率的なグローバル機能アグリゲーションを実現する。
  論文  参考訳（メタデータ） (2024-05-10T15:27:43Z)
• Rotation-Invariant Transformer for Point Cloud Matching [42.5714375149213]
  我々は,回転不変変換器であるRoITrを導入し,点クラウドマッチングタスクにおけるポーズ変動に対処する。 本稿では,自己認識機構によって学習した,回転不変なクロスフレーム空間認識を備えたグローバルトランスフォーマーを提案する。 RoITrは、Inlier RatioとRegistration Recallの点で、既存のメソッドを少なくとも13と5のパーセンテージで上回っている。
  論文  参考訳（メタデータ） (2023-03-14T20:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。