論文の概要: The Token Is a Group Element: On Lie-Algebra Attention over Matrix Lie Groups

• arxiv url: http://arxiv.org/abs/2606.20547v1
• Date: Thu, 18 Jun 2026 17:56:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:40.045717
• Title: The Token Is a Group Element: On Lie-Algebra Attention over Matrix Lie Groups
• Title（参考訳）: The Tokenはグループ要素:マトリックスリー群に対するLie-Algebraの注意
• Authors: Przemyslaw Musialski,
• Abstract要約: これは、トークンが素行列リー群要素である最初の注意構造である。 アフィンフルフレーム群に到達し、すべての既約あるいは全射expベースのメソッドを除外しなければならない。 構成は、相対的なポーズを含む選択されたチャート上の任意の行列リー群に適用される。
• 参考スコア（独自算出の注目度）: 1.0152838128195465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We place the attention token on the group: a token is an element $g_i$ of a matrix Lie group $G$ -- a bare transformation, with no feature payload and no external action $ρ(g)$ carrying it. To our knowledge this is the first attention construction whose tokens are bare matrix Lie group elements: their score is the closed-form algebra norm of the relative pose rather than a learned kernel, and it reaches the affine full-frame groups that every irrep- or surjective-exp-based method must exclude. We call it Lie-Algebra Attention. Once tokens are group elements, the rest follows with none of the usual representation-theoretic machinery. The relative geometry of a pair is canonical, $g_i^{-1} g_j$, so the pairwise invariant $w_{ij} = \log(g_i^{-1} g_j)$ is intrinsic rather than designed; equivariance under the diagonal $G$-action is tautological, and the cocycle condition holds automatically. The attention score is the negative squared algebra norm, $s_{ij} = -\|\log(g_i^{-1} g_j)\|_λ^2/τ$: the canonical proximity kernel under a block-weighted Frobenius inner product, with no irreducible representations, spherical harmonics, Clebsch-Gordan products, or learned kernel. The construction applies to any matrix Lie group on a chosen logarithm chart containing the relative poses, including the non-compact non-abelian affine groups with scale and shear that no vector-token attention method reaches: neither the irrep tradition nor surjective-exp methods. Three sequence-completion experiments, on SE(2), SO(3), and Aff(2), bear this out: the closed-form score matches a learned MLP kernel on the same invariant and outperforms it on SE(2), using 50 to 80x fewer score parameters, while a vector-token baseline breaks invariance by five to twelve orders of magnitude.
• Abstract（参考訳）: トークンは行列リー群の要素$g_i$ -- 特徴ペイロードがなく、外部アクション$ρ(g)$も持たない素変換である。 それらのスコアは、学習されたカーネルではなく相対的なポーズの閉形式代数ノルムであり、すべての既約あるいは全射的exp-法が除外しなければならないアフィンフルフレーム群に到達する。 私たちはそれをLie-Algebra Attentionと呼んでいる。 トークンがグループ要素になると、残りは通常の表現論的な機械に従わない。 対の相対幾何学は正準であり、$g_i^{-1} g_j$ であるため、対の不変量 $w_{ij} = \log(g_i^{-1} g_j)$ は設計よりも内在的である。 注意スコアは負の2乗代数ノルムで、$s_{ij} = -\|\log(g_i^{-1} g_j)\|_λ^2/τ$: ブロック重み付きフロベニウス内部積の正準近接核は既約表現、球面調和、クレブシュ=ゴルダン積、あるいは学習された核である。 この構成は、相対的なポーズを含む選択対数チャート上の任意の行列リー群に適用され、非コンパクトな非アーベルアフィン群は、ベクトル的注意法が到達しないようなスケールとせん断を持つ。 SE(2), SO(3), Aff(2) 上の3つのシーケンス補完実験では、閉形式スコアは同じ不変量上で学習された MLP カーネルと一致し、SE(2) 上で50から80倍のスコアパラメータを用いて性能を向上し、ベクトルトーケンベースラインは5から12桁の差分を破る。

関連論文リスト

• Group Representational Position Encoding [66.33026480082025]
  グループ行動に基づく位置符号化のための統一的なフレームワークであるGRAPEを提案する。 i)乗法回転 (Multiplicative GRAPE) in $mathrmSO(d)$ と (ii)加法ロジットバイアス (Additive GRAPE) は一般線型群 $mathrmGL$ における一等作用から生じる。
  論文  参考訳（メタデータ） (2025-12-08T18:39:13Z)
• Explaining Deep Network Classification of Matrices: A Case Study on Monotonicity [0.0]
  この研究は、ディープラーニングを用いて行列を分類するための単純で実践的な基準を発見する方法を示す。 高性能ニューラルネットワークと説明可能なAI(XAI)技術を組み合わせることで、モデルの学習戦略を人間の解釈可能なルールに抽出することができる。
  論文  参考訳（メタデータ） (2025-07-30T10:55:44Z)
• Overcomplete Tensor Decomposition via Koszul-Young Flattenings [56.82556231289414]
  最小ランク1項の和として$n_times n times n_3$ tensorを分解する新しいアルゴリズムを与える。 次数-d$s のさらに一般的なクラスは、定数 $C = C(d)$ に対して階数 $Cn$ を超えることができないことを示す。
  論文  参考訳（メタデータ） (2024-11-21T17:41:09Z)
• Brauer's Group Equivariant Neural Networks [0.0]
  我々は、層が$mathbbRn$のテンソルパワーを持つような全ての可能な群同変ニューラルネットワークの完全な特徴付けを提供する。 そのようなテンソルパワー空間間の学習可能、線型、等変層関数に対する行列の分散集合を求める。
  論文  参考訳（メタデータ） (2022-12-16T18:08:51Z)
• Near-optimal fitting of ellipsoids to random points [68.12685213894112]
  楕円体をランダムな点に合わせるという基本的な問題は、低ランク行列分解、独立成分分析、主成分分析に関係している。 我々はこの予想を、ある$n = Omega(, d2/mathrmpolylog(d))$ に対する適合楕円体を構成することで対数的因子まで解決する。 我々の証明は、ある非標準確率行列の便利な分解を用いて、サンダーソン等最小二乗構成の実現可能性を示す。
  論文  参考訳（メタデータ） (2022-08-19T18:00:34Z)
• Matrix quantum groups as matrix product operator representations of Lie groups [0.0]
  行列量子群 $SL_q(2)$ がリー群 $SL(2)$ の非自明な行列積作用素表現をもたらすことを示す。 我々は、このデータとよく知られた$q$変形したクレブシュ・ゴルダン係数と6j-記号の組み合わせは、この量子群を双加群圏の観点で記述するのと一致すると論じる。
  論文  参考訳（メタデータ） (2022-02-14T18:53:38Z)
• On the Expressive Power of Self-Attention Matrices [41.72598286888797]
  固定自己アテンションモジュールは入力に応じて任意のスパースパターンを近似することができることを示す。 行列を近似するために適応的な入力と固定された自己アテンションパラメータを求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:30:28Z)
• A Practical Method for Constructing Equivariant Multilayer Perceptrons for Arbitrary Matrix Groups [115.58550697886987]
  行列群の同変層を解くための完全一般的なアルゴリズムを提供する。 他作品からのソリューションを特殊ケースとして回収するだけでなく、これまで取り組んだことのない複数のグループと等価な多層パーセプトロンを構築します。 提案手法は, 粒子物理学および力学系への応用により, 非同変基底線より優れる。
  論文  参考訳（メタデータ） (2021-04-19T17:21:54Z)
• Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
  エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。 代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
  論文  参考訳（メタデータ） (2020-06-12T10:21:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。