論文の概要: Densely Connected $G$-invariant Deep Neural Networks with Signed
Permutation Representations
- arxiv url: http://arxiv.org/abs/2303.04614v2
- Date: Tue, 17 Oct 2023 17:06:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 22:32:16.340526
- Title: Densely Connected $G$-invariant Deep Neural Networks with Signed
Permutation Representations
- Title（参考訳）: 符号付き置換表現を持つ密結合$g$不変深層ニューラルネットワーク
- Authors: Devanshu Agrawal and James Ostrowski
- Abstract要約: 有限群$G$,$G$-不変ディープニューラルネットワーク(G$-DNN)アーキテクチャをReLUアクティベーション付きで導入・検討する。
G$-DNNのプリアクティベーションは、Emphsigned permutation representations (signed perm-reps) of $G$で変換できる。
文献からReLUのアクティベーション関数にアクセスできるものよりも、より許容可能な$G$-DNNアーキテクチャが存在することを示す。
- 参考スコア（独自算出の注目度）: 6.200483285433661
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce and investigate, for finite groups $G$, $G$-invariant deep
neural network ($G$-DNN) architectures with ReLU activation that are densely
connected-- i.e., include all possible skip connections. In contrast to other
$G$-invariant architectures in the literature, the preactivations of
the$G$-DNNs presented here are able to transform by \emph{signed} permutation
representations (signed perm-reps) of $G$. Moreover, the individual layers of
the $G$-DNNs are not required to be $G$-equivariant; instead, the
preactivations are constrained to be $G$-equivariant functions of the network
input in a way that couples weights across all layers. The result is a richer
family of $G$-invariant architectures never seen previously. We derive an
efficient implementation of $G$-DNNs after a reparameterization of weights, as
well as necessary and sufficient conditions for an architecture to be
``admissible''-- i.e., nondegenerate and inequivalent to smaller architectures.
We include code that allows a user to build a $G$-DNN interactively
layer-by-layer, with the final architecture guaranteed to be admissible. We
show that there are far more admissible $G$-DNN architectures than those
accessible with the ``concatenated ReLU'' activation function from the
literature. Finally, we apply $G$-DNNs to two example problems -- (1)
multiplication in $\{-1, 1\}$ (with theoretical guarantees) and (2) 3D object
classification -- % finding that the inclusion of signed perm-reps
significantly boosts predictive performance compared to baselines with only
ordinary (i.e., unsigned) perm-reps.
- Abstract（参考訳）: 有限群に対して、reluアクティベーションが密結合である、$g$, $g$-invariant deep neural network (g$-dnn)アーキテクチャを紹介し、検討する。
文学における他の$G$不変アーキテクチャとは対照的に、ここで提示される$G$-DNNのプリアクティベーションは、$G$の \emph{signed} 置換表現(符号付きperm-reps)によって変換できる。
さらに、$g$-dnnの個々の層は、$g$-同値である必要はなく、代わりに、プリアクティベーションは、すべての層に重みを結合する方法で、ネットワーク入力の$g$-同変関数に制限される。
その結果、これまで見たことのない$G$不変アーキテクチャの豊富なファミリーとなる。
重みの再パラメータ化後の$G$-DNNの効率的な実装と、アーキテクチャが 'admissible'' であるために必要な十分な条件、すなわち、非退化的かつより小さなアーキテクチャと等価である。
ユーザがインタラクティブにレイヤバイレイヤーで$g$-dnnを構築できるコードが含まれており、最終的なアーキテクチャは許容可能であることが保証されています。
文献からの ‘concatenated ReLU'' のアクティベーション関数で利用できるものよりもはるかに多くの$G$-DNNアーキテクチャが存在することを示す。
最後に、$g$-dnnsを2つの例に当てはめる: (1) $\{-1, 1\}$(理論的保証付き)の乗算 -- (2) 3dオブジェクトの分類 -- % 符号付きperm-repの導入が通常の(符号なし)perm-repのみのベースラインと比較して予測性能を大幅に向上させる。
関連論文リスト
- Implicit Hypersurface Approximation Capacity in Deep ReLU Networks [0.0]
本稿では,ReLUアクティベーションを用いたディープフィードフォワードニューラルネットワークの幾何近似理論を開発する。
幅$d+1$の深い完全連結ReLUネットワークは、そのゼロ輪郭として暗黙的に近似を構成することができることを示す。
論文 参考訳（メタデータ） (2024-07-04T11:34:42Z) - Learning General Policies for Classical Planning Domains: Getting Beyond C$_2$ [15.574717738100727]
計画領域全体にわたる一般的なポリシーを学ぶためのGNNベースのアプローチは、$C$の表現力によって制限される。
関係GNNのパラメータ化版を導入し、$t$が無限大であるとき、R-GNN[$t$]は埋め込みのための2次空間のみを用いて3ドルGNNを近似する。
t=1 や $t=2 のような $t$ の低い値の場合、R-GNN[$t$] はより少ないメッセージを交換することでより弱い近似を達成する。
論文 参考訳（メタデータ） (2024-03-18T12:42:53Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - A General Framework for Robust G-Invariance in G-Equivariant Networks [5.227502964814928]
群同変畳み込みニューラルネットワーク(G$-CNN)におけるロバストなグループ不変性を実現するための一般的な方法を提案する。
三重相関の完全性は、強い強靭性を持つ$G$-TC層を与える。
この手法の利点を可換群と非可換群の両方に示す。
論文 参考訳（メタデータ） (2023-10-28T02:27:34Z) - Extending the Design Space of Graph Neural Networks by Rethinking
Folklore Weisfeiler-Lehman [66.23316415757456]
近年、グラフニューラルネットワーク(GNN)の最も人気のあるフレームワークとして、メッセージパッシングニューラルネットワーク(MPNN)が登場している。
しかし、その表現力は1次元のWeisfeiler-Lehman (1-WL) テストによって制限される。
我々は、任意の同変集合をすべてのノードの代わりに隣人と考える拡張、$(k,t)$-FWLを提案する。
N$2-GNN は ZINC-Subset (0.059) で記録破りの結果を達成し、以前の SOTA の成績を 10.6% 上回った。
論文 参考訳（メタデータ） (2023-06-05T21:35:32Z) - Shallow neural network representation of polynomials [91.3755431537592]
d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
論文 参考訳（メタデータ） (2022-08-17T08:14:52Z) - Exponential Separations in Symmetric Neural Networks [48.80300074254758]
我々は、対称なNetworkparencitesantoro 2017simple ArchitectureをDeepSetsparencitezaheerdeep Architectureの自然な一般化と見なしている。
解析活性化関数の制限の下で、次元が$N$の集合に作用する対称函数を$D$で構成する。
論文 参考訳（メタデータ） (2022-06-02T19:45:10Z) - Neural Network Architecture Beyond Width and Depth [4.468952886990851]
本稿では,幅と深さを超えた高さという付加次元を導入することで,新しいニューラルネットワークアーキテクチャを提案する。
三次元構造を持つニューラルネットワークは、二次元構造を持つニューラルネットワークよりもはるかに表現力が高いことが示されている。
論文 参考訳（メタデータ） (2022-05-19T10:29:11Z) - A Classification of $G$-invariant Shallow Neural Networks [1.4213973379473654]
我々は、ReLUアクティベーションを伴う全ての$G$不変シングルハイデン層または"シャロー"ニューラルネットワーク(G$-SNN)アーキテクチャの分類を与える定理を証明した。
いくつかの例群に対して$G$-SNNアーキテクチャを列挙し、それらの構造を視覚化する。
論文 参考訳（メタデータ） (2022-05-18T21:18:16Z) - RNNs can generate bounded hierarchical languages with optimal memory [113.73133308478612]
RNNは、自然言語構文の足場を反映した境界階層言語を効率的に生成できることを示す。
Dyck-($k$,$m$)は、よくネストされた括弧($k$型)と$m$バウンドされたネスト深さの言語である。
明示的な構成により,$O(m log k)$ hidden units の RNN がメモリの指数的削減に十分であることを示す。
論文 参考訳（メタデータ） (2020-10-15T04:42:29Z) - Improving Robustness and Generality of NLP Models Using Disentangled
Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。
本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。
提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文 参考訳（メタデータ） (2020-09-21T02:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。