論文の概要: Fast computation of permutation equivariant layers with the partition algebra

• arxiv url: http://arxiv.org/abs/2303.06208v1
• Date: Fri, 10 Mar 2023 21:13:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 20:23:04.781893
• Title: Fast computation of permutation equivariant layers with the partition algebra
• Title（参考訳）: 分割代数を用いた置換同変層の高速計算
• Authors: Charles Godfrey, Michael G. Rawson, Davis Brown, and Henry Kvinge
• Abstract要約: 入力の置換に不変あるいは不変の線形ニューラルネットワーク層は、現代のディープラーニングアーキテクチャのコアビルディングブロックを形成する。 例えば、DeepSetのレイヤや、トランスフォーマーの注目ブロックやグラフニューラルネットワークで発生する線形レイヤなどがある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear neural network layers that are either equivariant or invariant to permutations of their inputs form core building blocks of modern deep learning architectures. Examples include the layers of DeepSets, as well as linear layers occurring in attention blocks of transformers and some graph neural networks. The space of permutation equivariant linear layers can be identified as the invariant subspace of a certain symmetric group representation, and recent work parameterized this space by exhibiting a basis whose vectors are sums over orbits of standard basis elements with respect to the symmetric group action. A parameterization opens up the possibility of learning the weights of permutation equivariant linear layers via gradient descent. The space of permutation equivariant linear layers is a generalization of the partition algebra, an object first discovered in statistical physics with deep connections to the representation theory of the symmetric group, and the basis described above generalizes the so-called orbit basis of the partition algebra. We exhibit an alternative basis, generalizing the diagram basis of the partition algebra, with computational benefits stemming from the fact that the tensors making up the basis are low rank in the sense that they naturally factorize into Kronecker products. Just as multiplication by a rank one matrix is far less expensive than multiplication by an arbitrary matrix, multiplication with these low rank tensors is far less expensive than multiplication with elements of the orbit basis. Finally, we describe an algorithm implementing multiplication with these basis elements.
• Abstract（参考訳）: 入力の置換に同変または不変である線形ニューラルネットワーク層は、現代のディープラーニングアーキテクチャの中核となる構成要素を形成する。 例えば、ディープセットの層や、トランスフォーマーやいくつかのグラフニューラルネットワークのアテンションブロックで発生する線形層などである。 置換同変線型層の空間は、ある対称群表現の不変部分空間として特定することができ、最近の研究は、ベクトルが対称群作用に関する標準基底要素の軌道上の和である基底を示すことによって、この空間をパラメータ化した。 パラメータ化は、勾配降下によって置換同変線形層の重みを学習する可能性を開く。 置換同変線型層の空間は分割代数の一般化であり、これは対称群の表現論と深い関係を持つ統計物理学で最初に発見された対象であり、上述の基底は分割代数のいわゆる軌道基底を一般化する。 我々は、分割代数のダイアグラム基底を一般化する別の基礎を示し、基底を構成するテンソルが、自然にクロネッカー積に分解されるという意味では低いランクであるという事実から生じる計算上の利点を示す。 ランク1行列による乗算が任意の行列による乗算よりもはるかに安価であるように、これらの低階テンソルとの乗算は軌道基底の要素との乗算よりもはるかに安価である。 最後に,これらの基本要素を乗算するアルゴリズムについて述べる。

関連論文リスト

• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
  グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-15T07:11:44Z)
• Geometric Clifford Algebra Networks [53.456211342585824]
  本稿では,動的システムのモデリングのためのGeometric Clifford Algebra Networks (GCANs)を提案する。 GCANは幾何学的(クリフォード)代数を用いた対称性群変換に基づいている。
  論文  参考訳（メタデータ） (2023-02-13T18:48:33Z)
• Connecting Permutation Equivariant Neural Networks and Partition Diagrams [0.0]
  置換同変ニューラルネットワークに現れる重み行列はすべて、シュル=ワイル双対性から得られることを示す。 特に、シュル=ワイル双対性を適用して、ウェイト行列自身を計算するための単純で図式的な手法を導出する。
  論文  参考訳（メタデータ） (2022-12-16T18:48:54Z)
• A Practical Method for Constructing Equivariant Multilayer Perceptrons for Arbitrary Matrix Groups [115.58550697886987]
  行列群の同変層を解くための完全一般的なアルゴリズムを提供する。 他作品からのソリューションを特殊ケースとして回収するだけでなく、これまで取り組んだことのない複数のグループと等価な多層パーセプトロンを構築します。 提案手法は, 粒子物理学および力学系への応用により, 非同変基底線より優れる。
  論文  参考訳（メタデータ） (2021-04-19T17:21:54Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• Algebraic Neural Networks: Stability to Deformations [179.55535781816343]
  可換代数を用いた代数ニューラルネットワーク(AlgNN)について検討する。 AlgNNはユークリッド畳み込みニューラルネットワーク、グラフニューラルネットワーク、グループニューラルネットワークなどの多様なアーキテクチャを統合する。
  論文  参考訳（メタデータ） (2020-09-03T03:41:38Z)
• Applying Lie Groups Approaches for Rigid Registration of Point Clouds [3.308743964406687]
  リー群とリー代数を用いて、点雲で表される2つの曲面を最もよく登録する剛変換を求める。 いわゆる双対剛性登録は、本質的な二階配向テンソルを比較することで定式化することができる。 リー代数に配向テンソル場を埋め込む際に有望な結果を示す。
  論文  参考訳（メタデータ） (2020-06-23T21:26:57Z)
• The general theory of permutation equivarant neural networks and higher order graph variational encoders [6.117371161379209]
  一般置換同変層の式を導出し、各層が列と列を同時に置換することで行列に作用する場合を含む。 このケースはグラフ学習や関係学習アプリケーションで自然に発生する。 2階グラフ変分エンコーダを提案し、同変生成モデルの潜在分布は交換可能である必要があることを示す。
  論文  参考訳（メタデータ） (2020-04-08T13:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。