論文の概要: Equivariant and Invariant Reynolds Networks
- arxiv url: http://arxiv.org/abs/2110.08092v1
- Date: Fri, 15 Oct 2021 13:38:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-18 14:48:24.360396
- Title: Equivariant and Invariant Reynolds Networks
- Title（参考訳）: 等変および不変レイノルズネットワーク
- Authors: Akiyoshi Sannai, Makoto Kawano, Wataru Kumagai
- Abstract要約: 本稿では,有限群の対称性に対する不変および同変ネットワークについて考察する。
等変 ReyNets と呼ばれる還元型 Reynolds 演算子に基づく学習モデルを構築した。
数値実験により、我々のモデルは最先端の手法に匹敵することを示した。
- 参考スコア（独自算出の注目度）: 12.53670196903443
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Invariant and equivariant networks are useful in learning data with symmetry,
including images, sets, point clouds, and graphs. In this paper, we consider
invariant and equivariant networks for symmetries of finite groups. Invariant
and equivariant networks have been constructed by various researchers using
Reynolds operators. However, Reynolds operators are computationally expensive
when the order of the group is large because they use the sum over the whole
group, which poses an implementation difficulty. To overcome this difficulty,
we consider representing the Reynolds operator as a sum over a subset instead
of a sum over the whole group. We call such a subset a Reynolds design, and an
operator defined by a sum over a Reynolds design a reductive Reynolds operator.
For example, in the case of a graph with $n$ nodes, the computational
complexity of the reductive Reynolds operator is reduced to $O(n^2)$, while the
computational complexity of the Reynolds operator is $O(n!)$. We construct
learning models based on the reductive Reynolds operator called equivariant and
invariant Reynolds networks (ReyNets) and prove that they have universal
approximation property. Reynolds designs for equivariant ReyNets are derived
from combinatorial observations with Young diagrams, while Reynolds designs for
invariant ReyNets are derived from invariants called Reynolds dimensions
defined on the set of invariant polynomials. Numerical experiments show that
the performance of our models is comparable to state-of-the-art methods.
- Abstract（参考訳）: 不変および同変ネットワークは、画像、集合、点雲、グラフを含む対称性を持つデータを学ぶのに有用である。
本稿では,有限群の対称性に対する不変および同変ネットワークについて考察する。
不変および同変ネットワークはレイノルズ作用素を用いて様々な研究者によって構築されている。
しかし、レイノルズ作用素は群全体の和を用いるため、群の順序が大きい場合には計算コストがかかるため、実装が困難になる。
この困難を克服するために、レイノルズ作用素を群全体の和ではなく部分集合上の和として表現することを考える。
このような部分集合をreynolds designと呼び、reynolds design 上の和で定義される演算子をreductive reynolds operatorと呼ぶ。
例えば、$n$ノードを持つグラフの場合、還元レイノルズ作用素の計算複雑性は$O(n^2)$に減少し、レイノルズ作用素の計算複雑性は$O(n!)$となる。
我々は、同変および不変レイノルズネットワーク(ReyNets)と呼ばれる還元レイノルズ作用素に基づく学習モデルを構築し、それらが普遍近似特性を持つことを証明する。
等変レイネットのレイノルズ設計はヤング図形の組合せ観測から導かれる一方、不変レイネットのレイノルズ設計は不変多項式の集合上で定義されるレイノルズ次元と呼ばれる不変量から導かれる。
数値実験により,本モデルの性能は最先端手法に匹敵することがわかった。
関連論文リスト
- GIT-Net: Generalized Integral Transform for Operator Learning [58.13313857603536]
本稿では、部分微分方程式(PDE)演算子を近似するディープニューラルネットワークアーキテクチャであるGIT-Netを紹介する。
GIT-Netは、PDEを定義するためによく使われる微分作用素が、特殊機能基底で表現されるときに、しばしば同義的に表現されるという事実を利用する。
数値実験により、GIT-Netは競争力のあるニューラルネットワーク演算子であり、様々なPDE問題に対して小さなテストエラーと低い評価を示すことが示された。
論文 参考訳（メタデータ） (2023-12-05T03:03:54Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-03-02T20:44:45Z) - Connecting Permutation Equivariant Neural Networks and Partition Diagrams [0.0]
置換同変ニューラルネットワークに現れる重み行列はすべて、シュル=ワイル双対性から得られることを示す。
特に、シュル=ワイル双対性を適用して、ウェイト行列自身を計算するための単純で図式的な手法を導出する。
論文 参考訳（メタデータ） (2022-12-16T18:48:54Z) - Universality of group convolutional neural networks based on ridgelet
analysis on groups [10.05944106581306]
グループ畳み込みニューラルネットワーク(GCNN)のリッジレット理論に基づく近似特性について検討する。
群表現間の非線形写像として多目的GCNNを定式化する。
論文 参考訳（メタデータ） (2022-05-30T02:52:22Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳（メタデータ） (2022-02-08T16:16:11Z) - Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。
FAモデルが最大表現力を持つことを示す。
我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
論文 参考訳（メタデータ） (2021-10-07T11:05:23Z) - A Practical Method for Constructing Equivariant Multilayer Perceptrons
for Arbitrary Matrix Groups [115.58550697886987]
行列群の同変層を解くための完全一般的なアルゴリズムを提供する。
他作品からのソリューションを特殊ケースとして回収するだけでなく、これまで取り組んだことのない複数のグループと等価な多層パーセプトロンを構築します。
提案手法は, 粒子物理学および力学系への応用により, 非同変基底線より優れる。
論文 参考訳（メタデータ） (2021-04-19T17:21:54Z) - Group Equivariant Neural Architecture Search via Group Decomposition and
Reinforcement Learning [17.291131923335918]
我々は、同値ニューラルネットワークの文脈において、新しい群論的結果を証明する。
また、計算複雑性を大幅に改善する同変ネットワークを構築するアルゴリズムを設計する。
我々は、性能を最大化するグループ同変ネットワークの探索に深層Q-ラーニングを用いる。
論文 参考訳（メタデータ） (2021-04-10T19:37:25Z) - A New Neural Network Architecture Invariant to the Action of Symmetry
Subgroups [11.812645659940237]
入力データに対する任意の置換部分群の作用に不変な関数を近似する$G$不変ニューラルネットワークを提案する。
提案されたネットワークアーキテクチャの重要な要素は、入力データの$g$-invariant latent表現を生成する新しい$g$-invariant transformationモジュールである。
論文 参考訳（メタデータ） (2020-12-11T16:19:46Z) - Neural Networks are Convex Regularizers: Exact Polynomial-time Convex
Optimization Formulations for Two-layer Networks [70.15611146583068]
我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。
我々の理論は半無限双対性と最小ノルム正規化を利用する。
論文 参考訳（メタデータ） (2020-02-24T21:32:41Z) - A Computationally Efficient Neural Network Invariant to the Action of
Symmetry Subgroups [12.654871396334668]
新しい$G$不変変換モジュールは入力データの$G$不変潜在表現を生成する。
この潜在表現は、ネットワーク内の多層パーセプトロンで処理される。
提案するアーキテクチャの普遍性を証明し,その特性を議論し,計算とメモリ効率を強調する。
論文 参考訳（メタデータ） (2020-02-18T12:50:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。