論文の概要: Decomposition of Equivariant Maps via Invariant Maps: Application to Universal Approximation under Symmetry

• arxiv url: http://arxiv.org/abs/2409.16922v1
• Date: Wed, 25 Sep 2024 13:27:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 03:35:11.286680
• Title: Decomposition of Equivariant Maps via Invariant Maps: Application to Universal Approximation under Symmetry
• Title（参考訳）: 不変写像による等変写像の分解:対称性に基づく普遍近似への応用
• Authors: Akiyoshi Sannai, Yuuki Takai, Matthieu Cordonnier,
• Abstract要約: 我々は、群 $G$ に関する不変写像と同変写像の関係の理論を発展させる。 我々は、この理論をグループ対称性を持つディープニューラルネットワークの文脈で活用し、それらのメカニズムに関する新たな洞察を得る。
• 参考スコア（独自算出の注目度）: 3.0518581575184225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we develop a theory about the relationship between invariant and equivariant maps with regard to a group $G$. We then leverage this theory in the context of deep neural networks with group symmetries in order to obtain novel insight into their mechanisms. More precisely, we establish a one-to-one relationship between equivariant maps and certain invariant maps. This allows us to reduce arguments for equivariant maps to those for invariant maps and vice versa. As an application, we propose a construction of universal equivariant architectures built from universal invariant networks. We, in turn, explain how the universal architectures arising from our construction differ from standard equivariant architectures known to be universal. Furthermore, we explore the complexity, in terms of the number of free parameters, of our models, and discuss the relation between invariant and equivariant networks' complexity. Finally, we also give an approximation rate for G-equivariant deep neural networks with ReLU activation functions for finite group G.
• Abstract（参考訳）: 本稿では、群 $G$ に関する不変写像と同変写像の関係に関する理論を開発する。 次に、この理論をグループ対称性を持つディープニューラルネットワークの文脈で活用し、それらのメカニズムに関する新たな洞察を得る。 より正確には、同変写像とある不変写像の間の1対1の関係を確立する。 これにより、同変写像の引数を不変写像の引数に減らすことができ、その逆もできる。 応用として、普遍不変ネットワークから構築された普遍同変アーキテクチャの構築を提案する。 続いて、構造から生じる普遍的アーキテクチャが、普遍であることが知られている標準的な同変的アーキテクチャとどのように異なるかを説明する。 さらに,自由パラメータの数の観点から複雑性を考察し,不変ネットワークと同変ネットワークの複雑性の関係について考察する。 最後に、有限群 G に対する ReLU 活性化関数を持つ G-同変ディープニューラルネットワークに対する近似速度を与える。

関連論文リスト

• Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• Unified Universality Theorem for Deep and Shallow Joint-Group-Equivariant Machines [15.67299102925013]
  共同群同変特徴写像を備えた学習機械に対する構成的普遍近似定理を提案する。 我々の主定理はまた、浅いネットワークと深いネットワークの両方に対する普遍近似定理を統一する。
  論文  参考訳（メタデータ） (2024-05-22T14:25:02Z)
• A Characterization Theorem for Equivariant Networks with Point-wise Activations [13.00676132572457]
  回転同変ネットワークは、連結コンパクト群に対して同変である任意のネットワークに対してのみ不変であることを示す。 本稿では, 畳み込み可能な畳み込み型ニューラルネットワークの特徴空間が, 自明な表現であることを示す。
  論文  参考訳（メタデータ） (2024-01-17T14:30:46Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• A PAC-Bayesian Generalization Bound for Equivariant Networks [15.27608414735815]
  我々は、同変ネットワークに対するノルムベースのPAC-ベイジアン一般化境界を導出する。 境界は、群のサイズ、および一般化誤差に対する可約表現の多重度と次数の影響を特徴づける。 一般に、モデルにおけるより大きなグループサイズを用いることで、広範な数値実験によって証明された一般化誤差が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-24T12:07:03Z)
• Equivariant Transduction through Invariant Alignment [71.45263447328374]
  グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。 我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。 また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-22T11:19:45Z)
• Generalization capabilities of neural networks in lattice applications [0.0]
  翻訳等変ニューラルネットワークを用いた非同変ニューラルネットワークの利点について検討する。 我々の最良の同変アーキテクチャは、その非同変アーキテクチャよりも大幅に性能を向上し、一般化できることが示される。
  論文  参考訳（メタデータ） (2021-12-23T11:48:06Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Coordinate Independent Convolutional Networks -- Isometry and Gauge Equivariant Convolutions on Riemannian Manifolds [70.32518963244466]
  平坦空間と比較して大きな複雑さは、コンボリューション核が多様体にどのようなアライメントを適用するべきかが不明確であることである。 コーディネート化の特定の選択は、ネットワークの推論に影響を与えるべきではない、と我々は主張する。 座標独立と重み共有の同時要求は、ネットワーク上の同変要求をもたらす。
  論文  参考訳（メタデータ） (2021-06-10T19:54:19Z)
• Universal Approximation Theorem for Equivariant Maps by Group CNNs [14.810452619505137]
  本稿では,CNNによる同値写像の普遍近似定理の統一手法を提案する。 その大きな利点として、非コンパクト群に対する無限次元空間間の非線形同変写像を扱うことができる。
  論文  参考訳（メタデータ） (2020-12-27T07:09:06Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。