論文の概要: Self-Attention Dynamics with Rotary Position Embeddings: Twisted States and Explicit Consensus Rates on the Sphere

• arxiv url: http://arxiv.org/abs/2607.24502v1
• Date: Mon, 27 Jul 2026 14:36:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.46908
• Title: Self-Attention Dynamics with Rotary Position Embeddings: Twisted States and Explicit Consensus Rates on the Sphere
• Title（参考訳）: 回転位置埋め込みによる自己注意運動:球面のツイスト状態と明示的合意率
• Abstract要約: RoPE(Rotary position embeddeds)は、位置依存的な回転によって注意点を変化させる。 本研究では,クエリとキーを回転させた場合の連続時間ダイナミクスについて検討する。 その結果、アテンションカーネルは可逆であり、シャープな均一なソフトマックスフロアを持つ。
• 参考スコア（独自算出の注目度）: 1.8247038506195297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rotary position embeddings (RoPE) modify attention scores through position-dependent rotations, but their effect on normalized token dynamics is not captured by the vanilla spherical self-attention model. We study the continuous-time dynamics obtained when queries and keys are rotated while values remain on the unit sphere. The resulting attention kernel is reversible and admits a sharp uniform softmax floor, yet the natural RoPE interaction energy has derivatives of both signs within one fixed nontrivial system. Every consensus state remains an equilibrium, and its transverse linearization is a reversible Markov operator whose kernel depends on the consensus point through its energy across RoPE planes. On a resonant single-frequency ring we derive an exact Bessel-aliasing spectrum, including non-coprime frequencies and the correct fixed-ring large-$β$ asymptotics. Globally, closed hemispheres are invariant, while pairwise non-obtuse configurations and strict open semicircles contract with explicit half-angle and single-point tail bounds. These regional estimates instantiate a kernel-generic positivity principle with the sharp RoPE softmax floor. RoPE also selects an explicit score-flattening twisted branch; the generic resonant family is non-hyperbolic and linearly unstable, whereas an odd antipodal family becomes a hyperbolic saddle after quotienting global rotation. In multiple dimensions, the local consensus gap can depend non-monotonically on the allocation of energy across frequency planes, so no universal ordering by frequency is valid. Independent matrix, finite-difference, and nonlinear-flow computations cross-check the theorem boundaries and the reported constants.
• Abstract（参考訳）: 回転位置埋め込み(RoPE)は位置依存回転によって注意点を変化させるが、正規化トークンダイナミクスに対するそれらの効果は、バニラ球面自己保持モデルでは捉えられない。 本研究では,クエリとキーを回転させた場合の連続時間ダイナミクスについて検討する。 結果として生じる注目核は可逆であり、鋭い均一なソフトマックス床を持つが、自然なRoPE相互作用エネルギーは、二つの符号の微分を1つの固定非自明な系内に持つ。 すべてのコンセンサス状態は平衡のままであり、その逆線型化は可逆マルコフ作用素であり、カーネルはRoPE平面全体のエネルギーを通じてコンセンサスポイントに依存する。 共鳴単一周波数環上では、非コプライム周波数と正しい固定環大−β$漸近を含むベッセルエイリアシングスペクトルを正確に導出する。 大域的に、閉半球は不変であるが、対角的でない構成と厳密な半円は明示的な半角と単点尾辺を持つ。 これらの地域推定は、鋭いRoPEソフトマックスフロアでカーネル・ジェネリック・ポジティビティの原理をインスタンス化する。 また、RoPEは明示的なスコア平らなツイスト分岐も選択し、ジェネリック共鳴系は非双曲型で線形不安定であるのに対して、奇異な反ポッド系は、大域回転を商にした後に双曲型サドルとなる。 複数の次元において、局所的なコンセンサスギャップは周波数平面にまたがるエネルギーの割り当てに単調に依存するので、周波数による普遍的な順序付けは有効ではない。 独立行列、有限差分、非線形フロー計算は定理の境界と報告された定数をクロスチェックする。

関連論文リスト

• Steady-State Convergence of Stochastic Approximation [19.40811084751516]
  我々はマルコフ型乗法雑音によって駆動される定数ステップサイズの収縮型SAに対する統一SSC理論を開発する。 主要な方法論的貢献は、トラクタブルな補助力学への元の再帰を段階的に減少させる多段階フレームワークである。 主次バイアスは、スムーズな状態における$$-orderバイアスとは対照的に、次数$sqrt$の普遍性であることが示される。
  論文  参考訳（メタデータ） (2026-09-14T02:15:03Z)
• Lie-Algebraic Bell Recurrences for Arbitrary-Order Twist Jets and Parallel-Mechanism Closure [0.0]
  本稿では, 直列伝播, 並列機械的閉包, および2重スクリューフレームワーク内の剛性プラットフォーム点場を結合する任意の順序動力学的構造を開発する。 円筒状回転関節は1つの物理的ブロック閉鎖として保持され、特殊症例として逆流および原始関節が得られた。
  論文  参考訳（メタデータ） (2026-09-09T18:45:19Z)
• RoLA: Rotary-Positioned Low-Rank Linear Attention for Efficient Diffusion Transformers [22.383650673776415]
  緩やかな低ランクハイブリッドは、局所スパースブランチとグローバル圧縮ブランチを組み合わせることで、このコストを軽減する。 再利用可能なリニアサマリーと互換性を維持しつつ,真のクロストークンアグリゲーションを維持するロータリポジションの低ランクリニアアテンションブランチを提案する。 実験の結果、Wan2.B上で2.63$times$ end-to-endの推論速度(NVIDIA H100 GPUで計測された720p,81フレーム)を達成しながら、生成品質の90%で競合する結果が得られた。
  論文  参考訳（メタデータ） (2026-09-06T16:34:46Z)
• Non-reciprocally interacting Ornstein-Uhlenbeck processes: Exceptional points, Anomalous relaxation, Pseudo-equilibrium and Boundary refrigeration [0.0]
  我々は、調整可能な非相互パラメータg$で支配される非相互相互作用Ornstein-Uhlenbeck(NROU)モデルの階層を導入する。 乱れモデルに対して、障害実現におけるEP位置の分布$g*$は、クリーンシステムEPにおいて、正確に普遍的なエッジを発達させることを示す。 境界粒子が非相反性として熱く作用するのを冷蔵に切り替える境界冷却効果を明らかにする。
  論文  参考訳（メタデータ） (2026-09-04T17:41:56Z)
• Interior skin focusing and directional mirror transfer in a graded non-Hermitian Krawtchouk network [0.0]
  逆の次数有向ホッピングを持つ有限開Krawtchoukネットワークについて検討する。 広い中間領域の非対称性に対して、それらの局所的な虚ゲージ場はバルク内の符号である。
  論文  参考訳（メタデータ） (2026-08-19T10:56:53Z)
• Universal Frame Potential Hierarchy in Critical Projected Ensembles [0.0]
  友長・ラッティンガー液体の投影されたアンサンブルは、状態重なりモーメントの普遍的な非線形階層を示すことを示す。 注目すべきは、主要なスケーリング指数は連続的に変化するLuttingerパラメータとは独立である。
  論文  参考訳（メタデータ） (2026-08-16T01:23:04Z)
• Floquet-Resolved Dissipation Selects Entanglement Beyond Population Spectroscopy [41.99844472131922]
  同じパラメトリック結合量子ビットの2つの散逸的記述は、周期平均化人口によく似た結果をもたらすことを示す。 どちらも、周期的に駆動されるハミルトニアン、同じ顕微鏡の浴槽カップリング、同じ物理観測器を保有している。
  論文  参考訳（メタデータ） (2026-08-12T15:33:26Z)
• Stochastic Counterdiabatic Driving via Biorthogonal Liouvillian Eigenmodes [42.668742604089324]
  エスコレートされた自由エネルギーシミュレーションは、ラグを除去するエンジニアリング制御フィールド$mathbfu$による非断熱的なラグに対処する。 一般化座標変換の代わりにゲージ型変換に基づく相補的な数値的枠組みを構築する。 非断熱ラグを約12桁の精度で抑えることにより, 逆断熱条件が機械精度に満足していることが示される。
  論文  参考訳（メタデータ） (2026-07-27T13:08:14Z)
• Scalable Policy Optimization for Networked Multi-Agent Reinforcement Learning with Continuous State-Action Spaces [16.43184149906767]
  本研究では,連続状態と行動空間を有するネットワーク決定過程における協調的強化学習のためのアルゴリズムを開発する。 各エージェントは、グラフ近傍に局所的なアクターを保持し、局所化された時間差評価批評家は、切り捨てられた作用値関数を評価する。
  論文  参考訳（メタデータ） (2026-07-20T22:41:43Z)
• Certified boundary-magic witness for state-dependent proto-area in a holographic code [0.0]
  物質を含む領域と幾何結合の片脚を含む4ビット積-EPRホログラフィックコードについて検討した。 物質制御された結合運動のみが境界エントロピーの2次論理状態依存を導くことを示す。
  論文  参考訳（メタデータ） (2026-07-12T09:16:46Z)
• Non-Abelian Thouless pumping based on the global adiabatic criterion in Rydberg synthetic lattices [1.3891530345631955]
  ライドバーグ合成次元を用いたリーブ格子における非アベリアThoulessポンプの量子的実装について検討する。 我々は、リンドブラッドマスター方程式と状態依存リドバーグ損失と代表摂動を用いた非アベリアThoulessポンプの数値シミュレーションを行った。
  論文  参考訳（メタデータ） (2026-07-08T10:05:40Z)
• Staleness-Learning Rate Scaling Laws for Asynchronous RLHF [18.98349589222509]
  S は最大ロールアウトラグを示し,eta は学習率を示す。 このことは、地平線に制限された体制において、最大の安定学習率が不安定性に依存しているように見える理由を説明する。
  論文  参考訳（メタデータ） (2026-07-01T15:40:12Z)
• Observable signatures of exceptional points from left-right eigenstate distinction [17.925787462168707]
  非エルミート量子系は、エルミート系と比較して定性的に異なる物理挙動を示す。 我々は、ハミルトニアンの左固有ベクトルと右固有ベクトルの区別に基づいて例外点を検出する枠組みを開発する。 この結果は、非エルミート固有状態の構造と例外点の可観測シグネチャとの間の直接的なリンクを確立する。
  論文  参考訳（メタデータ） (2026-06-09T18:12:27Z)
• Quantum Spin Squeezing Enhanced by Critical Exceptional Points [0.0]
  散逸性集合スピン系は、パラメトリックに増強された定常的テクストクエンタムスピンスクイーズを示す。 この結果から、CEPは、定常異方性量子ゆらぎと、駆動散逸性プラットフォームにおける相関を工学的に研究するための経路であると同定した。
  論文  参考訳（メタデータ） (2026-05-27T08:16:56Z)
• Randomized Atomic Feature Models for Physics-Informed Identification of Dynamic Systems [3.810612452609132]
  ランダム化された安定原子の特徴に基づくシステム同定のためのフレームワークを提案する。 このフレームワークは、安定性マージン、モーダルローカライゼーション、DC-ゲインバウンダリ、単調性、通過性、相対度、セットリング時間目標、時間/周波数領域エラーバウンダリを符号化する。
  論文  参考訳（メタデータ） (2026-05-14T04:25:07Z)
• The Geometry of Noise: Why Diffusion Models Don't Need Noise Conditioning [20.547812775989808]
  我々は、平衡マッチングやブラインド拡散のような自律的(ノイズに依存しない)生成モデルについて研究する。 自律的なモデルによる生成は単に盲目的ではないことを証明します。 また、自律モデルを用いたサンプリングのための構造安定性条件も確立する。
  論文  参考訳（メタデータ） (2026-02-20T18:49:00Z)
• Localization with non-Hermitian off-diagonal disorder [0.0]
  我々は,非エルミート系を,ランダムに近接する近傍トンネルが支配するシステムについて論じる。 完全に実固有スペクトルの物理的状況は、ハミルトニアンの三対角行列構造によって生じる。 対角線外障害は、非エルミート系を有限系における非局在化-局在化クロスオーバーへと導く。
  論文  参考訳（メタデータ） (2023-10-20T18:02:01Z)
• Dynamics of inhomogeneous spin ensembles with all-to-all interactions: breaking permutational invariance [49.1574468325115]
  スピンアンサンブルのダイナミクスにおける非一様初期条件の導入の結果について検討する。 スピンアンサンブルのダイナミクスは、より拡張性のあるヒルベルト空間にまたがっていることが分かる。
  論文  参考訳（メタデータ） (2023-09-19T16:44:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。