論文の概要: Convolutional Filtering and Neural Networks with Non Commutative Algebras

• arxiv url: http://arxiv.org/abs/2108.09923v3
• Date: Thu, 6 Jul 2023 16:49:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 18:59:56.910047
• Title: Convolutional Filtering and Neural Networks with Non Commutative Algebras
• Title（参考訳）: 非可換代数を用いた畳み込みフィルタとニューラルネットワーク
• Authors: Alejandro Parada-Mayorga, Landon Butler and Alejandro Ribeiro
• Abstract要約: 本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
• 参考スコア（独自算出の注目度）: 153.20329791008095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we introduce and study the algebraic generalization of non commutative convolutional neural networks. We leverage the theory of algebraic signal processing to model convolutional non commutative architectures, and we derive concrete stability bounds that extend those obtained in the literature for commutative convolutional neural networks. We show that non commutative convolutional architectures can be stable to deformations on the space of operators. We develop the spectral representation of non commutative signal models to show that non commutative filters process Fourier components independently of each other. In particular we prove that although the spectral decompositions of signals in non commutative models are associated to eigenspaces of dimension larger than one, there exists a trade-off between stability and selectivity, which is controlled by matrix polynomial functions in spaces of matrices of low dimension. This tradeoff shows how when the filters in the algebra are restricted to be stable, there is a loss in discriminability that is compensated in the network by the pointwise nonlinearities. The results derived in this paper have direct applications and implications in non commutative convolutional architectures such as group neural networks, multigraph neural networks, and quaternion neural networks, for which we provide a set of numerical experiments showing their behavior when perturbations are present.
• Abstract（参考訳）: 本稿では,非可換畳み込み畳み込みニューラルネットワークの代数的一般化について述べる。 代数的信号処理の理論を畳み込み型非可換アーキテクチャのモデル化に活用し、畳み込み型畳み込み型ニューラルネットワークの文献で得られたものを拡張する具体的安定性境界を導出する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。 我々は非可換信号モデルのスペクトル表現を開発し、非可換フィルタが互いに独立してフーリエ成分を処理することを示す。 特に、非可換モデルにおける信号のスペクトル分解は次元が 1 より大きい固有空間に関連付けられるが、安定性と選択性の間にはトレードオフがあり、低次元行列空間における行列多項式関数によって制御される。 このトレードオフは、代数のフィルタが安定に制限されているとき、ポイントワイズ非線形性によってネットワーク内で補償される識別可能性の損失があることを示している。 本稿では,群ニューラルネットワーク,マルチグラフニューラルネットワーク,四元系ニューラルネットワークなどの非可換畳み込みアーキテクチャへの直接的な適用と,摂動発生時の挙動を示す数値実験を行った。

関連論文リスト

• Non Commutative Convolutional Signal Models in Neural Networks: Stability to Small Deformations [111.27636893711055]
  非可換畳み込みフィルタのフィルタ特性と安定性について検討する。 この結果は,グループニューラルネットワーク,マルチグラフニューラルネットワーク,四元系ニューラルネットワークに直接影響する。
  論文  参考訳（メタデータ） (2023-10-05T20:27:22Z)
• Function-Space Optimality of Neural Architectures With Multivariate Nonlinearities [30.762063524541638]
  我々は、バナッハ空間上の学習問題に対する解集合が、非線形性を持つニューラルアーキテクチャによって完全に特徴づけられることを示す代表者定理を証明した。 我々の結果は、データに基づいてトレーニングされたニューラルネットワークによって学習された関数の規則性に光を当て、実際に見つかったいくつかのアーキテクチャ選択に対する新たな理論的動機を与えました。
  論文  参考訳（メタデータ） (2023-10-05T17:13:16Z)
• Bispectral Neural Networks [1.0323063834827415]
  ニューラルネットワークアーキテクチャBNN(Bispectral Neural Networks)を提案する。 BNNは、群、その既約表現、および対応する同変写像と完全不変写像を同時に学習することができる。
  論文  参考訳（メタデータ） (2022-09-07T18:34:48Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
  Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。 畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
  論文  参考訳（メタデータ） (2020-10-22T09:10:16Z)
• Sparse Quantized Spectral Clustering [85.77233010209368]
  このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。 急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
  論文  参考訳（メタデータ） (2020-10-03T15:58:07Z)
• Algebraic Neural Networks: Stability to Deformations [179.55535781816343]
  可換代数を用いた代数ニューラルネットワーク(AlgNN)について検討する。 AlgNNはユークリッド畳み込みニューラルネットワーク、グラフニューラルネットワーク、グループニューラルネットワークなどの多様なアーキテクチャを統合する。
  論文  参考訳（メタデータ） (2020-09-03T03:41:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。