論文の概要: Subgroups of $U(d)$ Induce Natural RNN and Transformer Architectures

• arxiv url: http://arxiv.org/abs/2602.18417v1
• Date: Fri, 20 Feb 2026 18:35:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.412225
• Title: Subgroups of $U(d)$ Induce Natural RNN and Transformer Architectures
• Title（参考訳）: U(d)$のサブグループは自然RNNとトランスフォーマーアーキテクチャを誘導する
• Authors: Joshua Nunley,
• Abstract要約: 本稿では,U(d) の閉部分群上の隠れ状態を持つ列モデルのためのフレームワークを提案する。 我々は、サブグループ選択が状態空間、接射影、更新マップのドロップイン置換として機能する共有スケルトンから、リカレントおよびトランスフォーマーテンプレートを導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a direct framework for sequence models with hidden states on closed subgroups of U(d). We use a minimal axiomatic setup and derive recurrent and transformer templates from a shared skeleton in which subgroup choice acts as a drop-in replacement for state space, tangent projection, and update map. We then specialize to O(d) and evaluate orthogonal-state RNN and transformer models on Tiny Shakespeare and Penn Treebank under parameter-matched settings. We also report a general linear-mixing extension in tangent space, which applies across subgroup choices and improves finite-budget performance in the current O(d) experiments.
• Abstract（参考訳）: 本稿では,U(d) の閉部分群上に隠された状態を持つ列モデルの直接的枠組みを提案する。 我々は最小限の公理的設定を使用し、サブグループ選択が状態空間、接射影、更新マップのドロップイン置換として機能する共有スケルトンから再帰テンプレートと変換テンプレートを導出する。 次に、O(d)を専門とし、パラメータマッチング設定の下でTiny ShakespeareとPenn Treebankの直交状態RNNおよびトランスフォーマーモデルを評価する。 また、接空間における一般線型混合拡張を報告し、これは部分群選択に適用し、現在のO(d)実験における有限予算性能を改善する。

関連論文リスト

• Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
  Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。 本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
  コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。 我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
  論文  参考訳（メタデータ） (2023-10-17T16:04:33Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• HiPerformer: Hierarchically Permutation-Equivariant Transformer for Time Series Forecasting [56.95572957863576]
  本稿では,同じ群を構成する成分間の関係と群間の関係を考察した階層的置換同変モデルを提案する。 実世界のデータを用いた実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-14T05:11:52Z)
• Implicit Convolutional Kernels for Steerable CNNs [5.141137421503899]
  ステアブル畳み込みニューラルネットワーク(CNN)は、原点保存グループ$G$の翻訳と変換に等しいニューラルネットワークを構築するための一般的なフレームワークを提供する。 本稿では,多層パーセプトロン(MLP)による暗黙的ニューラル表現を用いて,$G$-steerableカーネルのパラメータ化を提案する。 我々は,N体シミュレーション,点雲分類,分子特性予測など,複数のタスクにおける本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-12-12T18:10:33Z)
• Group Equivariant Conditional Neural Processes [30.134634059773703]
  群同変条件ニューラルプロセス(EquivCNP)を提案する。 EquivCNPは1次元回帰タスクにおいて従来の条件付きニューラルプロセスに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2021-02-17T13:50:07Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。