論文の概要: HySPE: Positional Encoding via Symplectic Dual Shears
- arxiv url: http://arxiv.org/abs/2610.10154v1
- Date: Wed, 07 Oct 2026 14:33:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.959271
- Title: HySPE: Positional Encoding via Symplectic Dual Shears
- Title（参考訳）: HySPE:シンプレクティックデュアルせん断による位置符号化
- Abstract要約: 非コンパクトなシンプレクティック・トランスフォーメーションにおける位置注意の基盤となるHySPE(Hyperboliclectic Positional Extrapolation)を導入する。
ネーブな絶対分解に固有の指数表現のドリフトを排除するために、作用素を不変固有基底で対角化する。
TinyShakespeareでは、HySPE-UltraLongは4.810から16 times$ zero-shot外挿で不変なパープレキシティを維持しており、RoPEは131.198に低下している。
- 参考スコア（独自算出の注目度）: 0.4496256885343706
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Hyperbolic Symplectic Positional Encoding (HySPE), grounding positional attention in non-compact symplectic transformations. While canonical Rotary Position Embedding (RoPE) parameterizes the compact, elliptic branch of $\Sp(2,\R)$ via rotations, HySPE operationalizes its hyperbolic branch via a damped symmetric composition of dual shears, yielding a conformally symplectic contraction with two spectral decay rates per channel pair. To eliminate the exponential representation drift inherent to naive absolute factorizations, we diagonalize the operator in its invariant eigenbasis and introduce blockwise coordinate rebasing with adaptive centered execution. This guarantees length-independent numerical bounds while matching cached RoPE forward latency (7.21\,ms on an RTX 4090). On TinyShakespeare, HySPE-UltraLong maintains an invariant perplexity of 4.810 up to $16\times$ zero-shot extrapolation ($L=4096$), whereas RoPE degrades to 131.198. Scaled to a 51M-parameter subword Transformer on WikiText-103 ($L_{\text{train}}=512$), HySPE closely matches RoPE in-domain while robustly extrapolating to length 8192, reducing tail perplexity by 83.9\% over RoPE. While these controlled experiments establish HySPE's extrapolation robustness and numerical stability, evaluating its scaling behavior on large-scale foundation models remains an important direction for future investigation.
- Abstract（参考訳）: 非コンパクトなシンプレクティックトランスフォーメーションにおける位置注意の基盤となるHySPE(Hyperbolic Symplectic Positional Encoding)を導入する。
正準回転位置埋め込み(RoPE)は、回転によって$\Sp(2,\R)$のコンパクト楕円分岐をパラメータ化するが、HySPEは双対せん断の減衰対称組成によって双曲枝を演算し、チャネル対あたりの2つのスペクトル崩壊率の共形シンプレクティック収縮をもたらす。
ネーブな絶対因数分解に固有の指数的表現のドリフトを排除するために、作用素をその不変固有基底で対角化し、適応中心実行によるブロックワイズ座標のリベースを導入する。
これにより、キャッシュされたRoPEフォワードレイテンシ(7.21\,ms on a RTX 4090)にマッチしながら、長さ非依存の数値境界が保証される。
TinyShakespeareでは、HySPE-UltraLongは4.810から16\times$ zero-shot expolation(L=4096$)まで不変なパープレキシティを維持している。
WikiText-103(L_{\text{train}}=512$)の51Mパラメーターのサブワードトランスフォーマーにスケールすると、HySPEはRoPEのドメインと密に一致し、長さ8192まで頑丈に外挿し、尾の難易度を83.9\%削減する。
これらの制御された実験はHySPEの外挿の堅牢性と数値安定性を確立するが、大規模基礎モデルのスケーリング挙動を評価することは今後の研究にとって重要な方向である。
関連論文リスト
- GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed [71.05944634852158]
GroundAnythingはブロックワイズによる正確なローカライゼーションで高速並列デコーディングを再構成する。
30のグラウンドベンチマークで、私たちの自己回帰型であるGroundAnything-VLMは、この技術の新たな全体的な状態を確立します。
エントロピー誘導復号法により、GroundAnythingは、この規模の芸術の先行状態を超越している。
論文 参考訳（メタデータ） (2026-09-30T12:20:51Z) - Ananke: Contractive Torus Attractor Networks [0.4496256885343706]
Anankeは、遅延表現を以前に構造化された製品トーラスにスキャフォールドする表現学習フレームワークである。
CTANは、自然な画像ベンチマークと挑戦的な内視鏡データセットにまたがる例外的なパラメータ効率を示す。
論文 参考訳（メタデータ） (2026-09-21T15:08:25Z) - RoLA: Rotary-Positioned Low-Rank Linear Attention for Efficient Diffusion Transformers [22.383650673776415]
緩やかな低ランクハイブリッドは、局所スパースブランチとグローバル圧縮ブランチを組み合わせることで、このコストを軽減する。
再利用可能なリニアサマリーと互換性を維持しつつ,真のクロストークンアグリゲーションを維持するロータリポジションの低ランクリニアアテンションブランチを提案する。
実験の結果、Wan2.B上で2.63$times$ end-to-endの推論速度(NVIDIA H100 GPUで計測された720p,81フレーム)を達成しながら、生成品質の90%で競合する結果が得られた。
論文 参考訳（メタデータ） (2026-09-06T16:34:46Z) - Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation [86.62036852878354]
大規模言語モデル(LLM)は、信頼性の高い長文理解を必要とする設定でますます運用される。
位置ロバスト性を向上させるトレーニングレギュレータであるRoPE-Perturbed Self-Distillationを提案する。
Llama-3-8BとQwen-3-4Bの長文適応実験は、長文ベンチマークにおいて一貫した利得を示す。
論文 参考訳（メタデータ） (2026-04-15T18:46:35Z) - DoPE: Denoising Rotary Position Embedding [60.779039511252584]
トランスフォーマーモデルにおける回転位置埋め込み(RoPE)は、長さを弱める固有の限界を持つ。
ノイズのある特徴写像として位置符号化を用いたアテンションマップを再解釈し、位置補間ページ(DoPE)を提案する。
DoPEは、トランカテッド行列エントロピーに基づくトレーニング不要な手法であり、特徴写像における外乱周波数帯域を検出する。
論文 参考訳（メタデータ） (2025-11-12T09:32:35Z) - Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。
我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。
この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
論文 参考訳（メタデータ） (2025-10-17T02:58:35Z) - Positional Encoding via Token-Aware Phase Attention [45.855203550592734]
本研究は,Rotary Positional Embedding (RoPE) が注意点の内在的距離依存バイアスを導入し,RoPEが長期コンテキストをモデル化する能力を制限していることを示す。
本稿では,学習可能な位相関数をアテンション機構に組み込んだ新しい位置符号化手法であるToken-Aware Phase Attention (TAPA)を紹介する。
論文 参考訳（メタデータ） (2025-09-16T03:53:32Z) - HoPE: Hyperbolic Rotary Positional Encoding for Stable Long-Range Dependency Modeling in Large Language Models [19.3827288035483]
双曲型回転位置決め法を提案する。
トークン表現にローレンツ回転を実装するために双曲関数を利用する(HoPE)。
テストは、HoPEが既存の位置符号化手法を一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2025-09-05T16:20:48Z) - Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings [29.421443764865003]
本稿では,RoPEの回転位置埋め込みにおいて,何とどこで絡み合っているのかを解析する。
本稿では,Polar Coordinate Position Embeddings(PoPE)と呼ばれるRoPEの改良を提案する。
論文 参考訳（メタデータ） (2025-09-05T14:22:27Z) - PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。
家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
論文 参考訳（メタデータ） (2025-05-22T08:36:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。