論文の概要: Group Representational Position Encoding

• arxiv url: http://arxiv.org/abs/2512.07805v1
• Date: Mon, 08 Dec 2025 18:39:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:55.005724
• Title: Group Representational Position Encoding
• Title（参考訳）: グループ表現位置符号化
• Authors: Yifan Zhang, Zixiang Chen, Yifeng Liu, Zhen Qin, Huizhuo Yuan, Kangping Xu, Yang Yuan, Quanquan Gu, Andrew Chi-Chih Yao,
• Abstract要約: グループ行動に基づく位置符号化のための統一的なフレームワークであるGRAPEを提案する。 i)乗法回転 (Multiplicative GRAPE) in $mathrmSO(d)$ と (ii)加法ロジットバイアス (Additive GRAPE) は一般線型群 $mathrmGL$ における一等作用から生じる。
• 参考スコア（独自算出の注目度）: 66.33026480082025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present GRAPE (Group RepresentAtional Position Encoding), a unified framework for positional encoding based on group actions. GRAPE brings together two families of mechanisms: (i) multiplicative rotations (Multiplicative GRAPE) in $\mathrm{SO}(d)$ and (ii) additive logit biases (Additive GRAPE) arising from unipotent actions in the general linear group $\mathrm{GL}$. In Multiplicative GRAPE, a position $n \in \mathbb{Z}$ (or $t \in \mathbb{R}$) acts as $\mathbf{G}(n)=\exp(n\,ω\,\mathbf{L})$ with a rank-2 skew generator $\mathbf{L} \in \mathbb{R}^{d \times d}$, yielding a relative, compositional, norm-preserving map with a closed-form matrix exponential. RoPE is recovered exactly when the $d/2$ planes are the canonical coordinate pairs with log-uniform spectrum. Learned commuting subspaces and compact non-commuting mixtures strictly extend this geometry to capture cross-subspace feature coupling at $O(d)$ and $O(r d)$ cost per head, respectively. In Additive GRAPE, additive logits arise as rank-1 (or low-rank) unipotent actions, recovering ALiBi and the Forgetting Transformer (FoX) as exact special cases while preserving an exact relative law and streaming cacheability. Altogether, GRAPE supplies a principled design space for positional geometry in long-context models, subsuming RoPE and ALiBi as special cases. Project Page: https://github.com/model-architectures/GRAPE.
• Abstract（参考訳）: GRAPE(Group Represental Position Encoding)は,グループ動作に基づく位置符号化のための統一的なフレームワークである。 GRAPEは2つのメカニズムのファミリーをまとめます。 i) $\mathrm{SO}(d)$, and における乗法回転(乗法GRAPE) (ii) 一般線型群 $\mathrm{GL}$ における一元作用から生じる加法的ロジットバイアス(加法GRAPE)。 Multiplicative GRAPE において、位置 $n \in \mathbb{Z}$ (or $t \in \mathbb{R}$) は、ランク 2 のスキュー生成子 $\mathbf{L} \in \mathbb{R}^{d \times d}$ で $\mathbf{G}(n)=\exp(n\,ω\,\mathbf{L})$ として作用し、閉形式行列の相対的、構成的、ノルム保存写像を生じる。 RoPEは、$d/2$平面が対数一様スペクトルの標準座標対であるときに正確に回収される。 学習された可換部分空間とコンパクトな非可換混合はこの幾何学を厳密に拡張し、それぞれ$O(d)$と$O(r d)$1ヘッドのクロス部分空間特徴結合をキャプチャする。 付加的なGRAPEでは、付加的なロジットはランク1(低ランク)のユニトロアクションとして発生し、ALiBi と Forgetting Transformer (FoX) を厳密な特別なケースとして回収し、正確な相対法則とストリーミングキャパビリティを保持する。 また、GRAPEは長いコンテキストモデルにおける位置幾何学の原理的な設計空間を提供し、RoPEとALiBiを特別な場合として仮定する。 Project Page: https://github.com/model-architectures/GRAPE

関連論文リスト

• Group theoretic quantization of punctured plane [0.0]
  我々は、標準群に対応するリー代数の間の代数準同型、$mathscrG = R2 rtimes (SO(2)times R+)$を確立する。 古典的可観測物の部分空間 $fin Cinfty(M)$ をヒルベルト空間上の自己随伴作用素 $mathscrH$ に写す量子化写像を導出する。
  論文  参考訳（メタデータ） (2025-10-28T21:54:37Z)
• Learning Lie Group Generators from Trajectories [0.0]
  本研究は, 離散軌道からの行列リー群における生成元回復の逆問題について検討する。 フィードフォワードニューラルネットワークは、このマッピングを複数のグループで学習するように訓練されている。 清潔でノイズの多い条件下では、強い経験的精度を示す。
  論文  参考訳（メタデータ） (2025-04-04T07:08:59Z)
• Learning Orthogonal Multi-Index Models: A Fine-Grained Information Exponent Analysis [54.57279006229212]
  情報指数は、オンライン勾配降下のサンプルの複雑さを予測する上で重要な役割を担っている。 本研究では,2次項と高次項の両方を考慮することで,まず2次項を用いて関連する空間を学習できることを示す。 オンラインSGDの全体サンプルと複雑さは$tildeO(d PL-1 )$である。
  論文  参考訳（メタデータ） (2024-10-13T00:14:08Z)
• Quantum geometric Wigner construction for $D(G)$ and braided racks [0.0]
  有限群の量子双対 D(G)=Bbb C(G)rtimes Bbb C G$ は量子コンピューティングの北エフモデルにおいて重要な役割を果たす。 我々は、そのモデルの準粒子である既知構成を、Bbb R1,3$の通常のポアンカー群に対するウィグナー構成と厳密に類似した幾何学的方法で解釈する。
  論文  参考訳（メタデータ） (2024-07-16T15:21:28Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• The Hurwitz-Hopf Map and Harmonic Wave Functions for Integer and Half-Integer Angular Momentum [0.0]
  整数と半整数の角運動量に対する調和波動関数は、$SO(3)$ の回転を定義する角度 $(theta,phi,psi)$ で与えられる。 電子スピンを考慮に入れた水素原子に対する新しい非相対論的量子(Schr"odinger-like)方程式が導入された。
  論文  参考訳（メタデータ） (2022-11-19T19:13:07Z)
• Algebraic Aspects of Boundaries in the Kitaev Quantum Double Model [77.34726150561087]
  我々は、Ksubseteq G$ の部分群に基づく境界の体系的な扱いを、バルクの Kokuev 量子倍 D(G)$ モデルで提供する。 境界サイトは$*$-subalgebra $Xisubseteq D(G)$の表現であり、その構造を強い$*$-準ホップ代数として説明する。 治療の応用として、水平方向の$K=G$と垂直方向の$K=e$に基づく境界付きパッチを調査し、量子コンピュータでどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2022-08-12T15:05:07Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。