論文の概要: Separation Power of Equivariant Neural Networks

• arxiv url: http://arxiv.org/abs/2406.08966v1
• Date: Thu, 13 Jun 2024 09:52:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 18:34:37.179891
• Title: Separation Power of Equivariant Neural Networks
• Title（参考訳）: 等価ニューラルネットワークの分離パワー
• Authors: Marco Pacini, Xiaowen Dong, Bruno Lepri, Gabriele Santin,
• Abstract要約: そこで我々は,同変ニューラルネットのポイントワイドアクティベーションを用いた分離パワーを理論的に検討する枠組みを提案する。 ReLU や sigmoid のような全ての非ポリノミカルな活性化は、表現性の観点から等価であることを示す。
• 参考スコア（独自算出の注目度）: 11.906285279109477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The separation power of a machine learning model refers to its capacity to distinguish distinct inputs, and it is often employed as a proxy for its expressivity. In this paper, we propose a theoretical framework to investigate the separation power of equivariant neural networks with point-wise activations. Using the proposed framework, we can derive an explicit description of inputs indistinguishable by a family of neural networks with given architecture, demonstrating that it remains unaffected by the choice of non-polynomial activation function employed. We are able to understand the role played by activation functions in separability. Indeed, we show that all non-polynomial activations, such as ReLU and sigmoid, are equivalent in terms of expressivity, and that they reach maximum discrimination capacity. We demonstrate how assessing the separation power of an equivariant neural network can be simplified to evaluating the separation power of minimal representations. We conclude by illustrating how these minimal components form a hierarchy in separation power.
• Abstract（参考訳）: 機械学習モデルの分離能力は、異なる入力を区別する能力を指し、しばしば表現力のプロキシとして使用される。 本稿では,同変ニューラルネットのポイントワイド・アクティベーションを用いた分離パワーに関する理論的枠組みを提案する。 提案手法を用いて、ニューラルネットワークの族が与えられたアーキテクチャで区別できない入力を明示的に記述し、非ポリノミカルアクティベーション関数の選択によって影響を受けないことを示す。 分離性においてアクティベーション関数が果たす役割を理解することができる。 実際、ReLUやSigmoidのような全ての非ポリノミカルな活性化は、表現性の観点から等価であり、最大識別能力に達することを示す。 本稿では,同変ニューラルネットワークの分離パワーの評価を単純化し,最小表現の分離パワーを評価する方法を示す。 これらの最小限のコンポーネントが分離パワーの階層を形成する方法を示して結論付けます。

関連論文リスト

• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Solution space and storage capacity of fully connected two-layer neural networks with generic activation functions [0.552480439325792]
  二項分類モデルの記憶容量は、モデルが学習できるパラメータ毎のランダムな入出力ペアの最大数である。 一般活性化機能を持つ完全連結二層ニューラルネットワークの解空間の構造と記憶容量を解析する。
  論文  参考訳（メタデータ） (2024-04-20T15:12:47Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Polysemanticity and Capacity in Neural Networks [1.4174475093445233]
  ニューラルネットワークの個々のニューロンは、しばしば無関係な特徴の混合を表す。 この現象は多意味性(polysemanticity)と呼ばれ、ニューラルネットワークの解釈を難しくする。
  論文  参考訳（メタデータ） (2022-10-04T20:28:43Z)
• Clustering units in neural networks: upstream vs downstream information [3.222802562733787]
  フィードフォワード全接続ネットワークの隠蔽層表現のモジュラリティについて検討する。 2つの驚くべき結果が得られた: 第一に、ドロップアウトはモジュラリティを劇的に増加させ、他の形態の重み正規化はより穏やかな効果を持っていた。 このことは、入力の構造を反映するモジュラー表現を見つけることは、出力の構造を反映するモジュラー表現を学習することとは異なる目標である、という示唆から、表現学習に重要な意味を持つ。
  論文  参考訳（メタデータ） (2022-03-22T15:35:10Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• It's FLAN time! Summing feature-wise latent representations for interpretability [0.0]
  FLAN(Feature-wise Latent Additive Networks)と呼ばれる構造拘束型ニューラルネットワークの新たなクラスを提案する。 FLANは各入力機能を別々に処理し、それぞれに共通の潜在空間の表現を演算する。 これらの特徴的潜在表現は単純に要約され、集約された表現は予測に使用される。
  論文  参考訳（メタデータ） (2021-06-18T12:19:33Z)
• CausalX: Causal Explanations and Block Multilinear Factor Analysis [3.087360758008569]
  全体と部分の統一多線形モデルを提案する。 ボトムアップ計算の代替品であるインクリメンタルmモードブロックsvdを導入する。 結果のオブジェクト表現は、オブジェクトの全体と部分の階層に関連する固有の因果係数表現の解釈可能な選択である。
  論文  参考訳（メタデータ） (2021-02-25T13:49:01Z)
• Invariant Deep Compressible Covariance Pooling for Aerial Scene Categorization [80.55951673479237]
  本研究では,空気シーン分類におけるニュアンス変動を解決するために,新しい不変な深部圧縮性共分散プール (IDCCP) を提案する。 本研究では,公開空間画像データセットに関する広範な実験を行い,最先端の手法と比較して,この手法の優位性を実証する。
  論文  参考訳（メタデータ） (2020-11-11T11:13:07Z)
• Learning to Manipulate Individual Objects in an Image [71.55005356240761]
  本稿では,独立性および局所性を有する潜在因子を用いた生成モデルを学習する手法について述べる。 これは、潜伏変数の摂動が、オブジェクトに対応する合成画像の局所領域のみに影響を与えることを意味する。 他の教師なし生成モデルとは異なり、オブジェクトレベルのアノテーションを必要とせず、オブジェクト中心の操作を可能にする。
  論文  参考訳（メタデータ） (2020-04-11T21:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。