論文の概要: Separation Power of Equivariant Neural Networks

• arxiv url: http://arxiv.org/abs/2406.08966v2
• Date: Tue, 10 Dec 2024 13:03:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:34:37.994570
• Title: Separation Power of Equivariant Neural Networks
• Title（参考訳）: 等価ニューラルネットワークの分離パワー
• Authors: Marco Pacini, Xiaowen Dong, Bruno Lepri, Gabriele Santin,
• Abstract要約: 我々は、畳み込みや置換不変ネットワークなどの同変ニューラルネットワークの分離パワーを解析する。 ReLUやシグモイドを含む全ての非ポリノミカルな活性化は、表現力において等価であり、最大分離力に達する。
• 参考スコア（独自算出の注目度）: 11.906285279109477
• License:
• Abstract: The separation power of a machine learning model refers to its ability to distinguish between different inputs and is often used as a proxy for its expressivity. Indeed, knowing the separation power of a family of models is a necessary condition to obtain fine-grained universality results. In this paper, we analyze the separation power of equivariant neural networks, such as convolutional and permutation-invariant networks. We first present a complete characterization of inputs indistinguishable by models derived by a given architecture. From this results, we derive how separability is influenced by hyperparameters and architectural choices-such as activation functions, depth, hidden layer width, and representation types. Notably, all non-polynomial activations, including ReLU and sigmoid, are equivalent in expressivity and reach maximum separation power. Depth improves separation power up to a threshold, after which further increases have no effect. Adding invariant features to hidden representations does not impact separation power. Finally, block decomposition of hidden representations affects separability, with minimal components forming a hierarchy in separation power that provides a straightforward method for comparing the separation power of models.
• Abstract（参考訳）: 機械学習モデルの分離能力は、異なる入力を区別する能力を指し、その表現力のプロキシとしてしばしば使用される。 実際、モデルの族が分離する力を知ることは、きめ細かい普遍性の結果を得るために必要な条件である。 本稿では、畳み込みや置換不変ネットワークなどの同変ニューラルネットワークの分離パワーを解析する。 まず、与えられたアーキテクチャによって導出されるモデルで区別できない入力の完全な特徴付けを示す。 この結果から,アクティベーション関数,深さ,層幅,表現型など,分離性がハイパーパラメータやアーキテクチャ選択にどのように影響するかを導出する。 特に、ReLUやシグモイドを含む全ての非ポリノミカルな活性化は、表現力において等価であり、最大分離力に達する。 深さは分離電力をしきい値まで改善し、さらに増大しても効果がない。 隠された表現に不変の機能を追加しても、分離パワーには影響しない。 最後に、隠蔽表現のブロック分解は分離可能性に影響を与え、最小限のコンポーネントは分離パワーの階層を形成し、モデルの分離パワーを比較するための簡単な方法を提供する。

関連論文リスト

• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Solution space and storage capacity of fully connected two-layer neural networks with generic activation functions [0.552480439325792]
  二項分類モデルの記憶容量は、モデルが学習できるパラメータ毎のランダムな入出力ペアの最大数である。 一般活性化機能を持つ完全連結二層ニューラルネットワークの解空間の構造と記憶容量を解析する。
  論文  参考訳（メタデータ） (2024-04-20T15:12:47Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Polysemanticity and Capacity in Neural Networks [1.4174475093445233]
  ニューラルネットワークの個々のニューロンは、しばしば無関係な特徴の混合を表す。 この現象は多意味性(polysemanticity)と呼ばれ、ニューラルネットワークの解釈を難しくする。
  論文  参考訳（メタデータ） (2022-10-04T20:28:43Z)
• Clustering units in neural networks: upstream vs downstream information [3.222802562733787]
  フィードフォワード全接続ネットワークの隠蔽層表現のモジュラリティについて検討する。 2つの驚くべき結果が得られた: 第一に、ドロップアウトはモジュラリティを劇的に増加させ、他の形態の重み正規化はより穏やかな効果を持っていた。 このことは、入力の構造を反映するモジュラー表現を見つけることは、出力の構造を反映するモジュラー表現を学習することとは異なる目標である、という示唆から、表現学習に重要な意味を持つ。
  論文  参考訳（メタデータ） (2022-03-22T15:35:10Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• It's FLAN time! Summing feature-wise latent representations for interpretability [0.0]
  FLAN(Feature-wise Latent Additive Networks)と呼ばれる構造拘束型ニューラルネットワークの新たなクラスを提案する。 FLANは各入力機能を別々に処理し、それぞれに共通の潜在空間の表現を演算する。 これらの特徴的潜在表現は単純に要約され、集約された表現は予測に使用される。
  論文  参考訳（メタデータ） (2021-06-18T12:19:33Z)
• CausalX: Causal Explanations and Block Multilinear Factor Analysis [3.087360758008569]
  全体と部分の統一多線形モデルを提案する。 ボトムアップ計算の代替品であるインクリメンタルmモードブロックsvdを導入する。 結果のオブジェクト表現は、オブジェクトの全体と部分の階層に関連する固有の因果係数表現の解釈可能な選択である。
  論文  参考訳（メタデータ） (2021-02-25T13:49:01Z)
• Invariant Deep Compressible Covariance Pooling for Aerial Scene Categorization [80.55951673479237]
  本研究では,空気シーン分類におけるニュアンス変動を解決するために,新しい不変な深部圧縮性共分散プール (IDCCP) を提案する。 本研究では,公開空間画像データセットに関する広範な実験を行い,最先端の手法と比較して,この手法の優位性を実証する。
  論文  参考訳（メタデータ） (2020-11-11T11:13:07Z)
• Learning to Manipulate Individual Objects in an Image [71.55005356240761]
  本稿では,独立性および局所性を有する潜在因子を用いた生成モデルを学習する手法について述べる。 これは、潜伏変数の摂動が、オブジェクトに対応する合成画像の局所領域のみに影響を与えることを意味する。 他の教師なし生成モデルとは異なり、オブジェクトレベルのアノテーションを必要とせず、オブジェクト中心の操作を可能にする。
  論文  参考訳（メタデータ） (2020-04-11T21:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。