論文の概要: A Characterization Theorem for Equivariant Networks with Point-wise Activations

• arxiv url: http://arxiv.org/abs/2401.09235v1
• Date: Wed, 17 Jan 2024 14:30:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 15:50:57.673511
• Title: A Characterization Theorem for Equivariant Networks with Point-wise Activations
• Title（参考訳）: 点的活性化を持つ同変ネットワークに対するキャラクタリゼーション定理
• Authors: Marco Pacini, Xiaowen Dong, Bruno Lepri and Gabriele Santin
• Abstract要約: 回転同変ネットワークは、連結コンパクト群に対して同変である任意のネットワークに対してのみ不変であることを示す。 本稿では, 畳み込み可能な畳み込み型ニューラルネットワークの特徴空間が, 自明な表現であることを示す。
• 参考スコア（独自算出の注目度）: 13.00676132572457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Equivariant neural networks have shown improved performance, expressiveness and sample complexity on symmetrical domains. But for some specific symmetries, representations, and choice of coordinates, the most common point-wise activations, such as ReLU, are not equivariant, hence they cannot be employed in the design of equivariant neural networks. The theorem we present in this paper describes all possible combinations of finite-dimensional representations, choice of coordinates and point-wise activations to obtain an exactly equivariant layer, generalizing and strengthening existing characterizations. Notable cases of practical relevance are discussed as corollaries. Indeed, we prove that rotation-equivariant networks can only be invariant, as it happens for any network which is equivariant with respect to connected compact groups. Then, we discuss implications of our findings when applied to important instances of exactly equivariant networks. First, we completely characterize permutation equivariant networks such as Invariant Graph Networks with point-wise nonlinearities and their geometric counterparts, highlighting a plethora of models whose expressive power and performance are still unknown. Second, we show that feature spaces of disentangled steerable convolutional neural networks are trivial representations.
• Abstract（参考訳）: 同変ニューラルネットワークは、対称領域におけるパフォーマンス、表現性、およびサンプル複雑性を改善した。 しかし、特定の対称性、表現、座標の選択については、ReLUのような最も一般的な点の活性化は同変ではないため、等変ニューラルネットワークの設計には適用できない。 本論文で提示する定理は,有限次元表現,座標の選択,等変層を得るための点的活性化のあらゆる組み合わせについて記述し,既存の特徴付けを一般化・強化するものである。 実践的関連性の顕著な事例は、概要として論じられる。 実際、回転同変ネットワークは連結コンパクト群に対して同変である任意のネットワークに対してのみ不変であることを示す。 そこで,同変ネットワークの重要事例に適用した場合の本研究の意義について考察する。 まず,不変グラフネットワークの非線形性や幾何学的類似性などの置換同変ネットワークを完全に特徴付けし,表現力や性能が未だ不明なモデルが多数存在することを浮き彫りにする。 第二に、非絡み合い可能な畳み込みニューラルネットワークの特徴空間は自明な表現であることを示す。

関連論文リスト

• Equivariant neural networks and piecewise linear representation theory [0.0]
  等価ニューラルネットワークは対称性を持つニューラルネットワークである。 群表現の理論により、同変ニューラルネットワークの層を単純な表現に分解する。
  論文  参考訳（メタデータ） (2024-08-01T23:08:37Z)
• Non Commutative Convolutional Signal Models in Neural Networks: Stability to Small Deformations [111.27636893711055]
  非可換畳み込みフィルタのフィルタ特性と安定性について検討する。 この結果は,グループニューラルネットワーク,マルチグラフニューラルネットワーク,四元系ニューラルネットワークに直接影響する。
  論文  参考訳（メタデータ） (2023-10-05T20:27:22Z)
• Geometry of Linear Neural Networks: Equivariance and Invariance under Permutation Groups [0.0]
  置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。 パラメータ化と等変線形ネットワークの設計に関する結論を導出する。
  論文  参考訳（メタデータ） (2023-09-24T19:40:15Z)
• Using and Abusing Equivariance [10.70891251559827]
  群同変畳み込みニューラルネットワークは, サブサンプリングを用いて, 対称性に等しくなることを学習する。 ネットワークの入力次元を1ピクセル程度に変化させることで、一般的に使われているアーキテクチャが正確には同値ではなく、ほぼ同値となるのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-08-22T09:49:26Z)
• Optimization Dynamics of Equivariant and Augmented Neural Networks [2.7918308693131135]
  対称データに基づくニューラルネットワークの最適化について検討する。 アーキテクチャを制約する戦略を、データ拡張を使用する戦略と同等に扱う戦略と比較する。 後者の状況においても, 定常点が拡張トレーニングにおいて不安定であることは明らかだが, 明らかな同変モデルに対しては安定である。
  論文  参考訳（メタデータ） (2023-03-23T17:26:12Z)
• Generalization capabilities of neural networks in lattice applications [0.0]
  翻訳等変ニューラルネットワークを用いた非同変ニューラルネットワークの利点について検討する。 我々の最良の同変アーキテクチャは、その非同変アーキテクチャよりも大幅に性能を向上し、一般化できることが示される。
  論文  参考訳（メタデータ） (2021-12-23T11:48:06Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Geometric and Physical Quantities improve E(3) Equivariant Message Passing [59.98327062664975]
  等変グラフネットワークを一般化する等変グラフニューラルネットワーク(SEGNN)を提案する。 このモデルは、ステアブルで構成され、メッセージと更新機能の両方に幾何学的および物理的情報を組み込むことができる。 計算物理学と化学におけるいくつかの課題において,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-06T16:34:26Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Gauge Equivariant Mesh CNNs: Anisotropic convolutions on geometric graphs [81.12344211998635]
  メッシュ上の畳み込みを定義する一般的なアプローチは、それらをグラフとして解釈し、グラフ畳み込みネットワーク(GCN)を適用することである。 本稿では、GCNを一般化して異方性ゲージ同変カーネルを適用するGauge Equivariant Mesh CNNを提案する。 本実験は,従来のGCNおよび他の手法と比較して,提案手法の表現性を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-03-11T17:21:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。