論文の概要: Universality of group convolutional neural networks based on ridgelet analysis on groups

• arxiv url: http://arxiv.org/abs/2205.14819v1
• Date: Mon, 30 May 2022 02:52:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-01 09:20:57.848733
• Title: Universality of group convolutional neural networks based on ridgelet analysis on groups
• Title（参考訳）: グループ上のリッジレット解析に基づく群畳み込みニューラルネットワークの普遍性
• Authors: Sho Sonoda, Isao Ishikawa, Masahiro Ikeda
• Abstract要約: グループ畳み込みニューラルネットワーク(GCNN)のリッジレット理論に基づく近似特性について検討する。 群表現間の非線形写像として多目的GCNNを定式化する。
• 参考スコア（独自算出の注目度）: 10.05944106581306
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the approximation property of group convolutional neural networks (GCNNs) based on the ridgelet theory. We regard a group convolution as a matrix element of a group representation, and formulate a versatile GCNN as a nonlinear mapping between group representations, which covers typical GCNN literatures such as a cyclic convolution on a multi-channel image, permutation-invariant datasets (Deep Sets), and $\mathrm{E}(n)$-equivariant convolutions. The ridgelet transform is an analysis operator of a depth-2 network, namely, it maps an arbitrary given target function $f$ to the weight $\gamma$ of a network $S[\gamma]$ so that the network represents the function as $S[\gamma]=f$. It has been known only for fully-connected networks, and this study is the first to present the ridgelet transform for (G)CNNs. Since the ridgelet transform is given as a closed-form integral operator, it provides a constructive proof of the $cc$-universality of GCNNs. Unlike previous universality arguments on CNNs, we do not need to convert/modify the networks into other universal approximators such as invariant polynomials and fully-connected networks.
• Abstract（参考訳）: グループ畳み込みニューラルネットワーク(GCNN)のリッジレット理論に基づく近似特性について検討する。 群畳み込みを群表現の行列要素とし、多元性gcnnを群表現間の非線形写像として定式化し、多チャンネル画像上の巡回畳み込み、置換不変データセット(ディープセット)、$\mathrm{e}(n)$-equivariant畳み込みなどの典型的なgcnn文献をカバーする。 リッジレット変換は深度-2 ネットワークの解析演算子であり、任意の対象関数 $f$ をネットワーク $s[\gamma]$ の重み$\gamma$ にマッピングするので、ネットワークはその関数を $s[\gamma]=f$ で表す。 完全に接続されたネットワークでのみ知られており、この研究は(G)CNNのリッジレット変換を初めて提示した。 リッジレット変換は閉形式積分作用素として与えられるので、GCNNの$cc$Universalityの構成的証明を提供する。 CNNの以前の普遍性引数とは異なり、ネットワークを不変多項式や完全連結ネットワークのような他の普遍近似子に変換・修正する必要はない。

関連論文リスト

• A unified Fourier slice method to derive ridgelet transform for a variety of depth-2 neural networks [14.45619075342763]
  リッジレット変換は、与えられた関数$f$をパラメータ分布$gamma$にマッピングする擬逆演算子である。 ユークリッド空間上のディープ2完全連結ネットワークに対して、リッジレット変換は閉形式表現まで発見されている。 有限体 $mathbbF_p$ 上のネットワーク、抽象ヒルベルト空間 $mathcalH$ 上の群畳み込みネットワーク、非コンパクト対称空間 $G/K$ 上の完全連結ネットワーク、プーリング層など、様々な現代的なネットワークに対して変換を導出する。
  論文  参考訳（メタデータ） (2024-02-25T04:30:04Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Non Commutative Convolutional Signal Models in Neural Networks: Stability to Small Deformations [111.27636893711055]
  非可換畳み込みフィルタのフィルタ特性と安定性について検討する。 この結果は,グループニューラルネットワーク,マルチグラフニューラルネットワーク,四元系ニューラルネットワークに直接影響する。
  論文  参考訳（メタデータ） (2023-10-05T20:27:22Z)
• Joint Group Invariant Functions on Data-Parameter Domain Induce Universal Neural Networks [14.45619075342763]
  本稿では、一般化されたニューラルネットワークとその右逆演算子であるリッジレット変換を誘導する体系的手法を提案する。 リッジレット変換は逆であるため、対象関数を表すためにネットワークのパラメータの配置を記述することができる。 より広い階層のネットワークを包含する統一的な方法でシュルの補題を用いて、普遍性の新たな単純な証明を示す。
  論文  参考訳（メタデータ） (2023-10-05T13:30:37Z)
• A General Framework For Proving The Equivariant Strong Lottery Ticket Hypothesis [15.376680573592997]
  現代のニューラルネットワークは、単なる翻訳対称性以上のものを組み込むことができる。 我々は、Strong Lottery Ticket hypothesis (SLTH) を群$G$の作用を保存する関数に一般化する。 オーバーパラメータ化$textE(2)$-steerable CNNとメッセージパッシングGNNによって、我々の理論を証明します。
  論文  参考訳（メタデータ） (2022-06-09T04:40:18Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• A New Neural Network Architecture Invariant to the Action of Symmetry Subgroups [11.812645659940237]
  入力データに対する任意の置換部分群の作用に不変な関数を近似する$G$不変ニューラルネットワークを提案する。 提案されたネットワークアーキテクチャの重要な要素は、入力データの$g$-invariant latent表現を生成する新しい$g$-invariant transformationモジュールである。
  論文  参考訳（メタデータ） (2020-12-11T16:19:46Z)
• Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
  Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。 畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
  論文  参考訳（メタデータ） (2020-10-22T09:10:16Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• A Computationally Efficient Neural Network Invariant to the Action of Symmetry Subgroups [12.654871396334668]
  新しい$G$不変変換モジュールは入力データの$G$不変潜在表現を生成する。 この潜在表現は、ネットワーク内の多層パーセプトロンで処理される。 提案するアーキテクチャの普遍性を証明し,その特性を議論し,計算とメモリ効率を強調する。
  論文  参考訳（メタデータ） (2020-02-18T12:50:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。