論文の概要: No Equivariant Architecture Covers All Equivariant Attention

• arxiv url: http://arxiv.org/abs/2608.30417v1
• Date: Mon, 31 Aug 2026 08:14:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.302671
• Title: No Equivariant Architecture Covers All Equivariant Attention
• Title（参考訳）: 平等なアーキテクチャは、すべての平等な注意をカバーしない
• Abstract要約: 等変多頭部自己注意(MHSA)の完全な特徴付けを与える。 我々は、任意の固定MHSAアーキテクチャが、制約のないMHSAパラメータをパラメータ化することによって、正確な同値性を達成することを証明した。 トークンの特徴空間として正規表現の$C$のコピーに作用する$G=D_4$に対して、8つの注目の頭文字に対して$(C64)$のコンポーネントが存在することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We give a complete characterization of equivariant multi-head self-attention (MHSA): if an MHSA layer is equivariant to a symmetry group $G$, then $G$ can only act by permuting head-clusters, with QK and OV matrices satisfying an equivariance constraint tied to the group action. As a consequence, we prove that any fixed MHSA architecture that achieves exact equivariance by polynomially parameterizing unconstrained MHSA parameters inevitably leads to expressivity loss within the class of equivariant maps: the equivariance locus of unconstrained MHSA forms a union of extremely many Zariski-irreducible components in a reduced parameter space, and any single architecture covers at most one. For $G=D_4$ acting on $C$ copies of the regular representation as the token feature space, we show that there are $Ω(C^{64})$ components for eight attention heads.
• Abstract（参考訳）: MHSA 層が対称性群 $G$ に同値であれば、$G$ は頭クラスターを置換することによってのみ作用し、QK と OV 行列は群作用に結びついた等分散制約を満たす。 その結果、非制約な MHSA パラメータを多項式パラメータ化して正確な同値性を達成する固定 MHSA アーキテクチャは、必然的に同変写像のクラス内の表現性損失をもたらすことが証明される: 制約のない MHSA の同値軌跡は、縮小されたパラメータ空間において非常に多くのザリスキ既約成分の和を形成し、任意の単一アーキテクチャは、ほとんど1つをカバーしている。 トークン特徴空間としての正規表現の$C$コピーに作用する$G=D_4$に対して、8つの注目ヘッドに対して$Ω(C^{64})$コンポーネントが存在することを示す。

関連論文リスト

• $\ ext{GSF-}χ$: Global Stereochemical Fields for Chiral Graph Transformers [49.85093436361195]
  GSF-$$は、全ての対の相互作用をステレオジェニック単位が変調するグラフ変換器である。 $C$プロジェクションはミラーオンのECDピークカウントと位置をミラーオードピークサインから分離する。 GSF-$$は全ての中央ECD出力をリードし、軸方向回転とシンボルを最強のベースラインで12.6%$と7.9%$で改善する。
  論文  参考訳（メタデータ） (2026-09-11T07:41:20Z)
• A Unified Framework for Vision Transformers Equivariant to Discrete Subgroups of $\mathrm{O}(2)$ [8.549379020585462]
  我々は、$mathrmO(2)$の任意の離散部分群に同値な視覚変換器の族を導入する。 私たちの構成では、コアトランスコンポーネントの同変アナログと、結果の層に対する表現性保証が得られます。
  論文  参考訳（メタデータ） (2026-06-26T09:05:47Z)
• On the Equivariant Learning of the $Q$-tensor Order Parameter [0.7734726150561086]
  ネマティック液晶の2次元$Q$-tensor次数パラメータの予測のためのグループ同変ニューラルネットワークの構築と評価を行う。 等変モデルは低い誤差を一貫して達成し、より堅牢に欠陥構成を一般化する。
  論文  参考訳（メタデータ） (2026-05-26T20:54:38Z)
• Any-Subgroup Equivariant Networks via Symmetry Breaking [47.72921214239821]
  均質なアーキテクチャは、通常非常に制約があり、事前に選択された対称性のために設計されます。 これにより、多様なデータを均等に処理できるフレキシブルでマルチモーダルな基礎モデルの開発が妨げられる。 特定の補助入力特徴を変調することによって、複数の群に同時に同値な単一モデルを構築する。
  論文  参考訳（メタデータ） (2026-03-19T21:30:41Z)
• Generalized Reduction to the Isotropy for Flexible Equivariant Neural Fields [43.58107597764876]
  群 $G$ が空間 $M$ に推移的に作用するとき、積空間 $X 倍の任意の $G$-不変函数は、X$ に作用する等方部分群の不変量 $H$ of $M$ に還元できることを示す。 この特徴を同変ニューラル場に適用し、任意の群作用や同次条件空間に拡張する。
  論文  参考訳（メタデータ） (2026-03-08T10:41:23Z)
• Equivariant Graph Network Approximations of High-Degree Polynomials for Force Field Prediction [62.05532524197309]
  同変深部モデルでは、分子動力学シミュレーションにおいて原子ポテンシャルと力場を正確に予測できることが示されている。 本研究では、同変アーキテクチャの同変関数を解析し、PACEと呼ばれる新しい同変ネットワークを導入する。 一般的なベンチマークで実験されたように、PACEは原子エネルギーと力場の予測における最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-11-06T19:34:40Z)
• Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
  Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。 本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• A Galois theorem for machine learning: Functions on symmetric matrices and point clouds via lightweight invariant features [26.619014249559942]
  対称行列と点雲上の関数の機械学習のための数学的定式化を提案する。 ガロア理論にインスパイアされたアイデアを用いて、一般的に不変な特徴を分離する一般的な構成を提供する。 我々は、不変な特徴の数が、表現性を失うことなく総称的に$O(n)$に還元できることを証明している。
  論文  参考訳（メタデータ） (2024-05-13T18:24:03Z)
• Equivariant Manifold Neural ODEs and Differential Invariants [1.6073704837297416]
  我々は同変多様体ニューラル常微分方程式(NODE)の明らかな幾何学的枠組みを開発する。 私たちは、対称データに対するモデリング能力を解析するためにそれを使用します。
  論文  参考訳（メタデータ） (2024-01-25T12:23:22Z)
• Group Equivariant Subsampling [60.53371517247382]
  サブサンプリングは、プールやストライド畳み込みの形で畳み込みニューラルネットワーク(CNN)で使用される。 まず、正確な翻訳同変CNNを構築するために使用できる翻訳同変サブサンプリング/アップサンプリング層を導入する。 次に、これらの層を一般群への変換を超えて一般化し、したがって群同変部分サンプリング/アップサンプリングを提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:14:00Z)
• A Practical Method for Constructing Equivariant Multilayer Perceptrons for Arbitrary Matrix Groups [115.58550697886987]
  行列群の同変層を解くための完全一般的なアルゴリズムを提供する。 他作品からのソリューションを特殊ケースとして回収するだけでなく、これまで取り組んだことのない複数のグループと等価な多層パーセプトロンを構築します。 提案手法は, 粒子物理学および力学系への応用により, 非同変基底線より優れる。
  論文  参考訳（メタデータ） (2021-04-19T17:21:54Z)
• Universal Equivariant Multilayer Perceptrons [16.918979537914304]
  群不変および同変多層パーセプトロン(MLP)は、様々なデータ構造を学習する上で大きな成功を収めた。 この論文は、単一の隠蔽層を持つ広いクラスの同変の普遍性を証明している。
  論文  参考訳（メタデータ） (2020-02-07T17:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。