Fugu-MT 論文翻訳(概要): Subgroups of $U(d)$ Induce Natural RNN and Transformer Architectures

論文の概要: Subgroups of $U(d)$ Induce Natural RNN and Transformer Architectures

arxiv url: http://arxiv.org/abs/2602.18417v1
Date: Fri, 20 Feb 2026 18:35:43 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-23 18:01:41.412225
Title: Subgroups of $U(d)$ Induce Natural RNN and Transformer Architectures
Title（参考訳）: U(d)$のサブグループは自然RNNとトランスフォーマーアーキテクチャを誘導する
Authors: Joshua Nunley,
Abstract要約: 本稿では,U(d) の閉部分群上の隠れ状態を持つ列モデルのためのフレームワークを提案する。我々は、サブグループ選択が状態空間、接射影、更新マップのドロップイン置換として機能する共有スケルトンから、リカレントおよびトランスフォーマーテンプレートを導出する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents a direct framework for sequence models with hidden states on closed subgroups of U(d). We use a minimal axiomatic setup and derive recurrent and transformer templates from a shared skeleton in which subgroup choice acts as a drop-in replacement for state space, tangent projection, and update map. We then specialize to O(d) and evaluate orthogonal-state RNN and transformer models on Tiny Shakespeare and Penn Treebank under parameter-matched settings. We also report a general linear-mixing extension in tangent space, which applies across subgroup choices and improves finite-budget performance in the current O(d) experiments.
Abstract（参考訳）: 本稿では,U(d) の閉部分群上に隠された状態を持つ列モデルの直接的枠組みを提案する。我々は最小限の公理的設定を使用し、サブグループ選択が状態空間、接射影、更新マップのドロップイン置換として機能する共有スケルトンから再帰テンプレートと変換テンプレートを導出する。次に、O(d)を専門とし、パラメータマッチング設定の下でTiny ShakespeareとPenn Treebankの直交状態RNNおよびトランスフォーマーモデルを評価する。また、接空間における一般線型混合拡張を報告し、これは部分群選択に適用し、現在のO(d)実験における有限予算性能を改善する。

関連論文リスト

Automatic Discovery of One-Parameter Subgroups of Lie Groups: Compact and Non-Compact Cases of $\mathbf{SO(n)}$ and $\mathbf{SL(n)}$ [7.771878859878091]
我々は、$SO(3)$とより一般的には$SO(n)$の1-パラメータ部分群の自動発見のための新しいフレームワークを導入する。この方法は、標準ジョルダン形式のスキュー対称行列を使い、$SO(n)$のリー代数を定義する。提案手法の有効性は,振り子モデリング,慣性モーメント・オブ・慣性予測,トップクォークタグ付け,不変回帰といったタスクによって実証される。
論文参考訳（メタデータ） (2025-09-26T11:31:38Z)
Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
論文参考訳（メタデータ） (2024-10-01T06:34:58Z)
Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
論文参考訳（メタデータ） (2023-10-17T16:04:33Z)
Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文参考訳（メタデータ） (2023-08-31T17:57:50Z)
Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network [59.79008107609297]
本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
論文参考訳（メタデータ） (2023-05-30T19:16:44Z)
HiPerformer: Hierarchically Permutation-Equivariant Transformer for Time Series Forecasting [56.95572957863576]
本稿では,同じ群を構成する成分間の関係と群間の関係を考察した階層的置換同変モデルを提案する。実世界のデータを用いた実験により,提案手法が既存の最先端手法より優れていることを示す。
論文参考訳（メタデータ） (2023-05-14T05:11:52Z)
Implicit Convolutional Kernels for Steerable CNNs [5.141137421503899]
ステアブル畳み込みニューラルネットワーク(CNN)は、原点保存グループ$G$の翻訳と変換に等しいニューラルネットワークを構築するための一般的なフレームワークを提供する。本稿では,多層パーセプトロン(MLP)による暗黙的ニューラル表現を用いて,$G$-steerableカーネルのパラメータ化を提案する。我々は,N体シミュレーション,点雲分類,分子特性予測など,複数のタスクにおける本手法の有効性を実証する。
論文参考訳（メタデータ） (2022-12-12T18:10:33Z)
Unified Fourier-based Kernel and Nonlinearity Design for Equivariant Networks on Homogeneous Spaces [52.424621227687894]
等質空間上の群同変ネットワークに対する統一的枠組みを導入する。昇降した特徴場のフーリエ係数の空間性を利用する。安定化部分群におけるフーリエ係数としての特徴を取り扱う他の方法が、我々のアクティベーションの特別な場合であることを示す。
論文参考訳（メタデータ） (2022-06-16T17:59:01Z)
Homogeneous vector bundles and $G$-equivariant convolutional neural networks [0.0]
G$-equivariant convolutional Neural Network (GCNN) は、均一な$G$-space $mathcalM$で定義されたデータの幾何学的深層学習モデルである。本稿では、一モジュラーリー群 $G$ およびコンパクト部分群 $K leq G$ の場合、同次空間 $mathcalM = G/K$ 上の GCNN を解析する。
論文参考訳（メタデータ） (2021-05-12T02:06:04Z)
GroupifyVAE: from Group-based Definition to VAE-based Unsupervised Representation Disentanglement [91.9003001845855]
他の誘導バイアスを導入しないと、VAEベースの非監視的非絡み合いは実現できない。グループ理論に基づく定義から導かれる制約を非確率的帰納的バイアスとして活用し,vaeに基づく教師なし不連続に対処する。提案手法の有効性を検証するために,5つのデータセット上で,vaeベースモデルが最も目立つ1800モデルをトレーニングした。
論文参考訳（メタデータ） (2021-02-20T09:49:51Z)
Group Equivariant Conditional Neural Processes [30.134634059773703]
群同変条件ニューラルプロセス(EquivCNP)を提案する。 EquivCNPは1次元回帰タスクにおいて従来の条件付きニューラルプロセスに匹敵する性能を示す。
論文参考訳（メタデータ） (2021-02-17T13:50:07Z)
LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
論文参考訳（メタデータ） (2020-12-20T11:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。