論文の概要: Grokking Group Multiplication with Cosets
- arxiv url: http://arxiv.org/abs/2312.06581v1
- Date: Mon, 11 Dec 2023 18:12:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 14:30:52.701921
- Title: Grokking Group Multiplication with Cosets
- Title(参考訳): コセットを用いたグロッキング群乗法
- Authors: Dashiell Stander and Qinan Yu and Honglu Fan and Stella Biderman
- Abstract要約: 1層フィードフォワードネットワークをリバースエンジニアリングし、$S_5$と$S_6$の乗算を"グロッキング"します。
我々は,データとモデルの対称性を用いて,それらのメカニズムを理解し,コセット回路をホールドアップする価値を実証する。」
- 参考スコア(独自算出の注目度): 11.002834318280552
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We use the group Fourier transform over the symmetric group $S_n$ to reverse
engineer a 1-layer feedforward network that has "grokked" the multiplication of
$S_5$ and $S_6$. Each model discovers the true subgroup structure of the full
group and converges on circuits that decompose the group multiplication into
the multiplication of the group's conjugate subgroups. We demonstrate the value
of using the symmetries of the data and models to understand their mechanisms
and hold up the ``coset circuit'' that the model uses as a fascinating example
of the way neural networks implement computations. We also draw attention to
current challenges in conducting mechanistic interpretability research by
comparing our work to Chughtai et al. [6] which alleges to find a different
algorithm for this same problem.
- Abstract(参考訳): 対称群 $s_n$ 上の群フーリエ変換を用いて、1層フィードフォワードネットワークをリバースエンジニアリングし、$s_5$ と $s_6$ を乗算した。
各モデルは全群の真の部分群構造を発見し、群の乗法を群の共役部分群の乗法に分解する回路上に収束する。
データとモデルの対称性を使って、それらのメカニズムを理解し、モデルがニューラルネットワークの計算の実装方法の興味深い例として使用する ``coset circuit''' を保持する価値を実証する。
また,本研究をChughtaiらと比較することにより,機械論的解釈可能性研究の課題にも注目する。
同じ問題に対して別のアルゴリズムを見つけるように要求する[6]。
関連論文リスト
- Lie Group Decompositions for Equivariant Neural Networks [0.0]
ここでは、Lie 群 $G = textGL+(n, mathbbR)$ および $G = textSL(n, mathbbR)$ を扱うことができるフレームワークを提案する。
コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。
論文 参考訳(メタデータ) (2023-10-17T16:04:33Z) - Accelerated Discovery of Machine-Learned Symmetries: Deriving the
Exceptional Lie Groups G2, F4 and E6 [55.41644538483948]
このレターでは、対称性変換の発見を著しく高速化する2つの改良されたアルゴリズムを紹介している。
例外的リー群の複雑性を考えると,この機械学習手法は完全に汎用的であり,多種多様なラベル付きデータセットに適用可能であることを示す。
論文 参考訳(メタデータ) (2023-07-10T20:25:44Z) - An Algorithm for Computing with Brauer's Group Equivariant Neural
Network Layers [0.0]
本稿では,各群に対する重み行列によってベクトルを乗算するアルゴリズムを提案する。
提案手法は対称群である$S_n$に拡張され,その過程でarXiv:2303.06208のアルゴリズムが復元されることを示す。
論文 参考訳(メタデータ) (2023-04-27T13:06:07Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳(メタデータ) (2023-01-13T16:25:25Z) - Universality of group convolutional neural networks based on ridgelet
analysis on groups [10.05944106581306]
グループ畳み込みニューラルネットワーク(GCNN)のリッジレット理論に基づく近似特性について検討する。
群表現間の非線形写像として多目的GCNNを定式化する。
論文 参考訳(メタデータ) (2022-05-30T02:52:22Z) - A Practical Method for Constructing Equivariant Multilayer Perceptrons
for Arbitrary Matrix Groups [115.58550697886987]
行列群の同変層を解くための完全一般的なアルゴリズムを提供する。
他作品からのソリューションを特殊ケースとして回収するだけでなく、これまで取り組んだことのない複数のグループと等価な多層パーセプトロンを構築します。
提案手法は, 粒子物理学および力学系への応用により, 非同変基底線より優れる。
論文 参考訳(メタデータ) (2021-04-19T17:21:54Z) - Abelian Neural Networks [48.52497085313911]
まず、アベリア群演算のためのニューラルネットワークアーキテクチャを構築し、普遍近似特性を導出する。
連想対称の特徴づけを用いて、アベリア半群演算に拡張する。
固定単語埋め込み上でモデルをトレーニングし、元の word2vec よりも優れた性能を示す。
論文 参考訳(メタデータ) (2021-02-24T11:52:21Z) - LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。
我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。
任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
論文 参考訳(メタデータ) (2020-12-20T11:02:49Z) - Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。
提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文 参考訳(メタデータ) (2020-03-30T15:37:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。