論文の概要: Multiplication Beyond Groups: Stratified Fourier Mechanisms in Transformer Circuits

• arxiv url: http://arxiv.org/abs/2607.07066v1
• Date: Wed, 08 Jul 2026 06:49:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.309072
• Title: Multiplication Beyond Groups: Stratified Fourier Mechanisms in Transformer Circuits
• Title（参考訳）: 群を越えた乗算:変圧器回路における成層フーリエ機構
• Abstract要約: 合成モジュラー上でのモジュラー整数乗算について,小型変圧器がどのように学習するかを検討する。 本稿では,GCRによるグループ構成の局所的一般化を提案する。これは,学習された計算が単一のグローバル表現空間に依存していないことを示唆する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have demonstrated a remarkable ability to learn algorithmic reasoning, yet mechanistic analyses have mostly focused on globally invertible operations such as cyclic addition and group composition. In this work, we investigate how small transformers learn modular integer multiplication over composite moduli, a fundamentally non-invertible operation due to the presence of zero-divisors. We propose the monoid extension: a localized generalization of Group Composition via Representation (GCR) that suggests the learned computation does not rely on a single global representation space. Instead, the model partitions the input space into local hierarchical algebraic regions, where group-like structure survives and Fourier mechanisms can be applied. In transformers trained on square-free modular multiplication, we find that embeddings organize around these regions, attention exhibits class-sensitive routing and low-rank write directions, and local character features explain a large fraction of the model's output logits. Our results suggest that representation-theoretic mechanisms previously identified for group operations can extend beyond groups to more general structures.
• Abstract（参考訳）: トランスフォーマーはアルゴリズム推論を学習する驚くべき能力を示してきたが、機械学的解析は主に巡回加法や群構成のような世界的な可逆操作に焦点を当ててきた。 本研究では,零因子の存在による基本的非可逆演算である合成モジュラー上のモジュラー整数乗法を,小変換器がいかに学習するかを検討する。 学習された計算が単一のグローバルな表現空間に依存していないことを示唆する、GCRによるグループ構成の局所的一般化を提案する。 その代わり、モデルでは入力空間を局所階層代数領域に分割し、そこでは群のような構造が生き残り、フーリエ機構が適用できる。 正方形のモジュラ乗算を訓練した変換器では、埋め込みがこれらの領域を囲むように構成され、注意がクラスに敏感なルーティングと低ランクの書き込み方向を示し、局所的な文字特徴がモデルの出力ロジットのかなりの部分を説明する。 この結果から,群演算に先立って同定された表現理論機構が,群を超えてより一般的な構造へと拡張できることが示唆された。

関連論文リスト

• Neural Networks Provably Learn Spectral Representations for Group Composition [51.637084292404616]
  ニューラルネットワークトレーニング中に内部構造がどのように現れるかを検討する。 トレーニング力学は表現理論エネルギー汎関数上の勾配上昇によって支配されていることを証明する。 このフレームワークは特徴学習の表現論的記述を提供し、新しい低ランク圧縮現象を特徴付ける。
  論文  参考訳（メタデータ） (2026-06-02T01:04:21Z)
• Assign and Add: A Mechanistic Study of Compositional Arithmetic [17.098170202572348]
  変圧器の構成一般化機構について検討する。 我々は、小変換器が変数と数値の既往の組合せに一般化できることを観察する。 これらの結果から,構成一般化は内部機構の変換器の構成性の自然な帰結である可能性が示唆された。
  論文  参考訳（メタデータ） (2026-05-29T16:19:20Z)
• Beyond Components: Singular Vector-Based Interpretability of Transformer Circuits [22.333229451408414]
  トランスフォーマーベースの言語モデルは複雑で分散した振る舞いを示すが、内部計算はあまり理解されていない。 既存の解釈可能性法は、注意頭と多層パーセプトロン層(MLP)を識別不能単位として扱い、その内部で学習された機能的サブ構造の可能性を見越す。 よりきめ細かい視点を導入し、これらの成分を特異な方向に分解し、重畳された独立な計算を1つのヘッドまたはメカニスティック内で明らかにする。
  論文  参考訳（メタデータ） (2025-11-25T12:59:15Z)
• Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning [50.99796659680724]
  本研究では,GSM8Kスタイルのモジュラー演算をテストベッドとして用いたTransformerネットワークにおけるアウト・オブ・ディストリビューション(OOD)の一般化について検討する。 我々は,OOD一般化の強化を目的とした4つのアーキテクチャ機構のセットを紹介し,検討する。 我々はこれらの実験結果を詳細な機械論的解釈可能性分析で補完し、これらのメカニズムがOOD一般化能力をいかに高めるかを明らかにする。
  論文  参考訳（メタデータ） (2025-10-15T21:03:59Z)
• Discovering Abstract Symbolic Relations by Learning Unitary Group Representations [7.303827428956944]
  記号演算完了(SOC)の原理的アプローチについて検討する。 SOCは離散記号間の抽象的関係をモデル化する際、ユニークな挑戦となる。 SOCは最小限のモデル(双線型写像)で、新しい分解アーキテクチャで効率的に解けることを実証する。
  論文  参考訳（メタデータ） (2024-02-26T20:18:43Z)
• Towards Empirical Interpretation of Internal Circuits and Properties in Grokked Transformers on Modular Polynomials [29.09237503747052]
  モジュラー加算のグロキングは、変換器の三角形状のフーリエ表現とその計算回路を実装することが知られている。 各操作でグラクされたモデル間の転送性は、特定の組み合わせに限られることを示す。 マルチタスクの混合によってコグルーキングが発生し、すべてのタスクで同時にグルーキングが発生する。
  論文  参考訳（メタデータ） (2024-02-26T16:48:12Z)
• How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
  本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。 合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。 理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:40:49Z)
• A General Framework for Equivariant Neural Networks on Reductive Lie Groups [2.0769531810371307]
  還元リー群は、高エネルギー物理学、量子力学、量子色力学、分子動力学、コンピュータビジョン、イメージングなど、科学分野において重要な役割を担っている。 任意の簡約リー群 G の有限次元表現を尊重できる一般同変ニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-05-31T18:09:37Z)
• Homomorphism Autoencoder -- Learning Group Structured Representations from Observed Transitions [51.71245032890532]
  本研究では,世界に作用するエージェントが,それを修飾する動作と整合した感覚情報の内部表現を学習できるようにする手法を提案する。 既存の作業とは対照的に、我々のアプローチはグループの事前の知識を必要とせず、エージェントが実行可能なアクションのセットを制限しない。
  論文  参考訳（メタデータ） (2022-07-25T11:22:48Z)
• Capacity of Group-invariant Linear Readouts from Equivariant Representations: How Many Objects can be Linearly Classified Under All Possible Views? [21.06669693699965]
  分離可能な二コトミーの分数は群作用によって固定される空間の次元によって決定される。 この関係が、畳み込み、要素ワイド非線形性、大域的および局所的なプーリングなどの操作にどのように拡張されるかを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:46:53Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
  我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。 主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
  論文  参考訳（メタデータ） (2019-06-05T07:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。