Fugu-MT 論文翻訳(概要): Densely Connected $G$-invariant Deep Neural Networks with Signed Permutation Representations

論文の概要: Densely Connected $G$-invariant Deep Neural Networks with Signed Permutation Representations

arxiv url: http://arxiv.org/abs/2303.04614v2
Date: Tue, 17 Oct 2023 17:06:04 GMT
ステータス: 処理完了
システム内更新日: 2023-10-18 22:32:16.340526
Title: Densely Connected $G$-invariant Deep Neural Networks with Signed Permutation Representations
Title（参考訳）: 符号付き置換表現を持つ密結合$g$不変深層ニューラルネットワーク
Authors: Devanshu Agrawal and James Ostrowski
Abstract要約: 有限群$G$,$G$-不変ディープニューラルネットワーク(G$-DNN)アーキテクチャをReLUアクティベーション付きで導入・検討する。 G$-DNNのプリアクティベーションは、Emphsigned permutation representations (signed perm-reps) of $G$で変換できる。文献からReLUのアクティベーション関数にアクセスできるものよりも、より許容可能な$G$-DNNアーキテクチャが存在することを示す。
参考スコア（独自算出の注目度）: 6.200483285433661
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce and investigate, for finite groups $G$, $G$-invariant deep neural network ($G$-DNN) architectures with ReLU activation that are densely connected-- i.e., include all possible skip connections. In contrast to other $G$-invariant architectures in the literature, the preactivations of the$G$-DNNs presented here are able to transform by \emph{signed} permutation representations (signed perm-reps) of $G$. Moreover, the individual layers of the $G$-DNNs are not required to be $G$-equivariant; instead, the preactivations are constrained to be $G$-equivariant functions of the network input in a way that couples weights across all layers. The result is a richer family of $G$-invariant architectures never seen previously. We derive an efficient implementation of $G$-DNNs after a reparameterization of weights, as well as necessary and sufficient conditions for an architecture to be ``admissible''-- i.e., nondegenerate and inequivalent to smaller architectures. We include code that allows a user to build a $G$-DNN interactively layer-by-layer, with the final architecture guaranteed to be admissible. We show that there are far more admissible $G$-DNN architectures than those accessible with the ``concatenated ReLU'' activation function from the literature. Finally, we apply $G$-DNNs to two example problems -- (1) multiplication in $\{-1, 1\}$ (with theoretical guarantees) and (2) 3D object classification -- % finding that the inclusion of signed perm-reps significantly boosts predictive performance compared to baselines with only ordinary (i.e., unsigned) perm-reps.
Abstract（参考訳）: 有限群に対して、reluアクティベーションが密結合である、$g$, $g$-invariant deep neural network (g$-dnn)アーキテクチャを紹介し、検討する。文学における他の$G$不変アーキテクチャとは対照的に、ここで提示される$G$-DNNのプリアクティベーションは、$G$の \emph{signed} 置換表現(符号付きperm-reps)によって変換できる。さらに、$g$-dnnの個々の層は、$g$-同値である必要はなく、代わりに、プリアクティベーションは、すべての層に重みを結合する方法で、ネットワーク入力の$g$-同変関数に制限される。その結果、これまで見たことのない$G$不変アーキテクチャの豊富なファミリーとなる。重みの再パラメータ化後の$G$-DNNの効率的な実装と、アーキテクチャが 'admissible'' であるために必要な十分な条件、すなわち、非退化的かつより小さなアーキテクチャと等価である。ユーザがインタラクティブにレイヤバイレイヤーで$g$-dnnを構築できるコードが含まれており、最終的なアーキテクチャは許容可能であることが保証されています。文献からの ‘concatenated ReLU'' のアクティベーション関数で利用できるものよりもはるかに多くの$G$-DNNアーキテクチャが存在することを示す。最後に、$g$-dnnsを2つの例に当てはめる: (1) $\{-1, 1\}$(理論的保証付き)の乗算 -- (2) 3dオブジェクトの分類 -- % 符号付きperm-repの導入が通常の(符号なし)perm-repのみのベースラインと比較して予測性能を大幅に向上させる。

関連論文リスト

Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
論文参考訳（メタデータ） (2024-09-10T14:31:21Z)
Learning General Policies for Classical Planning Domains: Getting Beyond C$_2$ [15.574717738100727]
計画領域全体にわたる一般的なポリシーを学ぶためのGNNベースのアプローチは、$C$の表現力によって制限される。関係GNNのパラメータ化版を導入し、$t$が無限大であるとき、R-GNN[$t$]は埋め込みのための2次空間のみを用いて3ドルGNNを近似する。 t=1 や $t=2 のような $t$ の低い値の場合、R-GNN[$t$] はより少ないメッセージを交換することでより弱い近似を達成する。
論文参考訳（メタデータ） (2024-03-18T12:42:53Z)
Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文参考訳（メタデータ） (2023-11-23T02:19:32Z)
A General Framework for Robust G-Invariance in G-Equivariant Networks [5.227502964814928]
群同変畳み込みニューラルネットワーク(G$-CNN)におけるロバストなグループ不変性を実現するための一般的な方法を提案する。三重相関の完全性は、強い強靭性を持つ$G$-TC層を与える。この手法の利点を可換群と非可換群の両方に示す。
論文参考訳（メタデータ） (2023-10-28T02:27:34Z)
Extending the Design Space of Graph Neural Networks by Rethinking Folklore Weisfeiler-Lehman [66.23316415757456]
近年、グラフニューラルネットワーク(GNN)の最も人気のあるフレームワークとして、メッセージパッシングニューラルネットワーク(MPNN)が登場している。しかし、その表現力は1次元のWeisfeiler-Lehman (1-WL) テストによって制限される。我々は、任意の同変集合をすべてのノードの代わりに隣人と考える拡張、$(k,t)$-FWLを提案する。 N$2-GNN は ZINC-Subset (0.059) で記録破りの結果を達成し、以前の SOTA の成績を 10.6% 上回った。
論文参考訳（メタデータ） (2023-06-05T21:35:32Z)
Shallow neural network representation of polynomials [91.3755431537592]
d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
論文参考訳（メタデータ） (2022-08-17T08:14:52Z)
Exponential Separations in Symmetric Neural Networks [48.80300074254758]
我々は、対称なNetworkparencitesantoro 2017simple ArchitectureをDeepSetsparencitezaheerdeep Architectureの自然な一般化と見なしている。解析活性化関数の制限の下で、次元が$N$の集合に作用する対称函数を$D$で構成する。
論文参考訳（メタデータ） (2022-06-02T19:45:10Z)
Neural Network Architecture Beyond Width and Depth [4.468952886990851]
本稿では,幅と深さを超えた高さという付加次元を導入することで,新しいニューラルネットワークアーキテクチャを提案する。三次元構造を持つニューラルネットワークは、二次元構造を持つニューラルネットワークよりもはるかに表現力が高いことが示されている。
論文参考訳（メタデータ） (2022-05-19T10:29:11Z)
A Classification of $G$-invariant Shallow Neural Networks [1.4213973379473654]
我々は、ReLUアクティベーションを伴う全ての$G$不変シングルハイデン層または"シャロー"ニューラルネットワーク(G$-SNN)アーキテクチャの分類を与える定理を証明した。いくつかの例群に対して$G$-SNNアーキテクチャを列挙し、それらの構造を視覚化する。
論文参考訳（メタデータ） (2022-05-18T21:18:16Z)
RNNs can generate bounded hierarchical languages with optimal memory [113.73133308478612]
RNNは、自然言語構文の足場を反映した境界階層言語を効率的に生成できることを示す。 Dyck-($k$,$m$)は、よくネストされた括弧($k$型)と$m$バウンドされたネスト深さの言語である。明示的な構成により,$O(m log k)$ hidden units の RNN がメモリの指数的削減に十分であることを示す。
論文参考訳（メタデータ） (2020-10-15T04:42:29Z)
Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文参考訳（メタデータ） (2020-09-21T02:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。