論文の概要: A Classification of $G$-invariant Shallow Neural Networks
- arxiv url: http://arxiv.org/abs/2205.09219v1
- Date: Wed, 18 May 2022 21:18:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-21 10:29:09.871966
- Title: A Classification of $G$-invariant Shallow Neural Networks
- Title（参考訳）: G$不変浅層ニューラルネットワークの分類
- Authors: Devanshu Agrawal, James Ostrowski
- Abstract要約: 我々は、ReLUアクティベーションを伴う全ての$G$不変シングルハイデン層または"シャロー"ニューラルネットワーク(G$-SNN)アーキテクチャの分類を与える定理を証明した。
いくつかの例群に対して$G$-SNNアーキテクチャを列挙し、それらの構造を視覚化する。
- 参考スコア（独自算出の注目度）: 1.4213973379473654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When trying to fit a deep neural network (DNN) to a $G$-invariant target
function with respect to a group $G$, it only makes sense to constrain the DNN
to be $G$-invariant as well. However, there can be many different ways to do
this, thus raising the problem of "$G$-invariant neural architecture design":
What is the optimal $G$-invariant architecture for a given problem? Before we
can consider the optimization problem itself, we must understand the search
space, the architectures in it, and how they relate to one another. In this
paper, we take a first step towards this goal; we prove a theorem that gives a
classification of all $G$-invariant single-hidden-layer or "shallow" neural
network ($G$-SNN) architectures with ReLU activation for any finite orthogonal
group $G$. The proof is based on a correspondence of every $G$-SNN to a signed
permutation representation of $G$ acting on the hidden neurons. The
classification is equivalently given in terms of the first cohomology classes
of $G$, thus admitting a topological interpretation. Based on a code
implementation, we enumerate the $G$-SNN architectures for some example groups
$G$ and visualize their structure. We draw the network morphisms between the
enumerated architectures that can be leveraged during neural architecture
search (NAS). Finally, we prove that architectures corresponding to
inequivalent cohomology classes in a given cohomology ring coincide in function
space only when their weight matrices are zero, and we discuss the implications
of this in the context of NAS.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)をグループ$G$に対して$G$不変なターゲット関数に適合させようとする場合、DNNも$G$不変であるように制約することは理にかなっている。
しかし、これを行うには多くの異なる方法があり、それによって"$g$-invariant neural architecture design"の問題を提起する: ある問題に対して最適な$g$-invariant architectureとは何か?
最適化問題自体を考える前に、我々は検索空間、その中のアーキテクチャ、それらの相互関係について理解する必要がある。
本稿では,この目標に向けて第一歩を踏み出す。任意の有限直交群 $g$ に対して relu アクティベーションを持つ,$g$-invariant single-hidden-layer または "shallow" neural network (g$-snn) アーキテクチャを分類する定理を証明する。
この証明は、隠れたニューロンに作用する$G$の符号付き置換表現に対する全ての$G$-SNNの対応に基づいている。
この分類は、$G$の最初のコホモロジークラスの観点から同等に与えられ、したがって位相的解釈が認められる。
コード実装に基づいて、いくつかのサンプルグループに対して$G$-SNNアーキテクチャを列挙し、それらの構造を視覚化する。
ニューラルネットワーク探索(NAS)で活用できる列挙型アーキテクチャ間のネットワーク準同型を描画する。
最後に、与えられたコホモロジー環の同値なコホモロジークラスに対応するアーキテクチャが、その重み行列が 0 であるときのみ関数空間に一致することを証明し、NAS の文脈におけるこの意味を議論する。
関連論文リスト
- Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - A General Framework for Robust G-Invariance in G-Equivariant Networks [5.227502964814928]
群同変畳み込みニューラルネットワーク(G$-CNN)におけるロバストなグループ不変性を実現するための一般的な方法を提案する。
三重相関の完全性は、強い強靭性を持つ$G$-TC層を与える。
この手法の利点を可換群と非可換群の両方に示す。
論文 参考訳（メタデータ） (2023-10-28T02:27:34Z) - Extending the Design Space of Graph Neural Networks by Rethinking
Folklore Weisfeiler-Lehman [66.23316415757456]
近年、グラフニューラルネットワーク(GNN)の最も人気のあるフレームワークとして、メッセージパッシングニューラルネットワーク(MPNN)が登場している。
しかし、その表現力は1次元のWeisfeiler-Lehman (1-WL) テストによって制限される。
我々は、任意の同変集合をすべてのノードの代わりに隣人と考える拡張、$(k,t)$-FWLを提案する。
N$2-GNN は ZINC-Subset (0.059) で記録破りの結果を達成し、以前の SOTA の成績を 10.6% 上回った。
論文 参考訳（メタデータ） (2023-06-05T21:35:32Z) - Densely Connected $G$-invariant Deep Neural Networks with Signed
Permutation Representations [6.200483285433661]
有限群$G$,$G$-不変ディープニューラルネットワーク(G$-DNN)アーキテクチャをReLUアクティベーション付きで導入・検討する。
G$-DNNのプリアクティベーションは、Emphsigned permutation representations (signed perm-reps) of $G$で変換できる。
文献からReLUのアクティベーション関数にアクセスできるものよりも、より許容可能な$G$-DNNアーキテクチャが存在することを示す。
論文 参考訳（メタデータ） (2023-03-08T14:35:03Z) - Graph Convolutional Neural Networks as Parametric CoKleisli morphisms [0.0]
任意のグラフに対して$n$ノードを持つグラフ畳み込みニューラルネットワークを$mathbfGCNN_n$で定義する。
積コモナドのCoKleisli圏に基底圏をセットした、 $mathbfPara$ と $mathbfLens$ という、すでに存在するディープラーニングのカテゴリ構成を導出できることを示す。
論文 参考訳（メタデータ） (2022-12-01T14:49:58Z) - Algebraic Aspects of Boundaries in the Kitaev Quantum Double Model [77.34726150561087]
我々は、Ksubseteq G$ の部分群に基づく境界の体系的な扱いを、バルクの Kokuev 量子倍 D(G)$ モデルで提供する。
境界サイトは$*$-subalgebra $Xisubseteq D(G)$の表現であり、その構造を強い$*$-準ホップ代数として説明する。
治療の応用として、水平方向の$K=G$と垂直方向の$K=e$に基づく境界付きパッチを調査し、量子コンピュータでどのように使用できるかを示す。
論文 参考訳（メタデータ） (2022-08-12T15:05:07Z) - Neural Networks can Learn Representations with Gradient Descent [68.95262816363288]
特定の状況下では、勾配降下によって訓練されたニューラルネットワークは、カーネルメソッドのように振る舞う。
実際には、ニューラルネットワークが関連するカーネルを強く上回ることが知られている。
論文 参考訳（メタデータ） (2022-06-30T09:24:02Z) - Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。
単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文 参考訳（メタデータ） (2021-10-28T14:59:41Z) - Homogeneous vector bundles and $G$-equivariant convolutional neural
networks [0.0]
G$-equivariant convolutional Neural Network (GCNN) は、均一な$G$-space $mathcalM$で定義されたデータの幾何学的深層学習モデルである。
本稿では、一モジュラーリー群 $G$ およびコンパクト部分群 $K leq G$ の場合、同次空間 $mathcalM = G/K$ 上の GCNN を解析する。
論文 参考訳（メタデータ） (2021-05-12T02:06:04Z) - A deep network construction that adapts to intrinsic dimensionality
beyond the domain [79.23797234241471]
本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。
例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
論文 参考訳（メタデータ） (2020-08-06T09:50:29Z) - Topology of deep neural networks [8.946655323517092]
M = M_a cup M_b subseteq mathbbRd$データセットのトポロジが、よく訓練されたニューラルネットワークの層を通過するとどのように変化するかを研究する。
論文 参考訳（メタデータ） (2020-04-13T17:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。