論文の概要: Separation Power of Equivariant Neural Networks

• arxiv url: http://arxiv.org/abs/2406.08966v2
• Date: Tue, 10 Dec 2024 13:03:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:34:37.994570
• Title: Separation Power of Equivariant Neural Networks
• Title（参考訳）: 等価ニューラルネットワークの分離パワー
• Authors: Marco Pacini, Xiaowen Dong, Bruno Lepri, Gabriele Santin,
• Abstract要約: 我々は、畳み込みや置換不変ネットワークなどの同変ニューラルネットワークの分離パワーを解析する。 ReLUやシグモイドを含む全ての非ポリノミカルな活性化は、表現力において等価であり、最大分離力に達する。
• 参考スコア（独自算出の注目度）: 11.906285279109477
• License:
• Abstract: The separation power of a machine learning model refers to its ability to distinguish between different inputs and is often used as a proxy for its expressivity. Indeed, knowing the separation power of a family of models is a necessary condition to obtain fine-grained universality results. In this paper, we analyze the separation power of equivariant neural networks, such as convolutional and permutation-invariant networks. We first present a complete characterization of inputs indistinguishable by models derived by a given architecture. From this results, we derive how separability is influenced by hyperparameters and architectural choices-such as activation functions, depth, hidden layer width, and representation types. Notably, all non-polynomial activations, including ReLU and sigmoid, are equivalent in expressivity and reach maximum separation power. Depth improves separation power up to a threshold, after which further increases have no effect. Adding invariant features to hidden representations does not impact separation power. Finally, block decomposition of hidden representations affects separability, with minimal components forming a hierarchy in separation power that provides a straightforward method for comparing the separation power of models.
• Abstract（参考訳）: 機械学習モデルの分離能力は、異なる入力を区別する能力を指し、その表現力のプロキシとしてしばしば使用される。 実際、モデルの族が分離する力を知ることは、きめ細かい普遍性の結果を得るために必要な条件である。 本稿では、畳み込みや置換不変ネットワークなどの同変ニューラルネットワークの分離パワーを解析する。 まず、与えられたアーキテクチャによって導出されるモデルで区別できない入力の完全な特徴付けを示す。 この結果から,アクティベーション関数,深さ,層幅,表現型など,分離性がハイパーパラメータやアーキテクチャ選択にどのように影響するかを導出する。 特に、ReLUやシグモイドを含む全ての非ポリノミカルな活性化は、表現力において等価であり、最大分離力に達する。 深さは分離電力をしきい値まで改善し、さらに増大しても効果がない。 隠された表現に不変の機能を追加しても、分離パワーには影響しない。 最後に、隠蔽表現のブロック分解は分離可能性に影響を与え、最小限のコンポーネントは分離パワーの階層を形成し、モデルの分離パワーを比較するための簡単な方法を提供する。

関連論文リスト

• Learning local discrete features in explainable-by-design convolutional neural networks [0.0]
  本稿では,側方抑制機構に基づくCNN(Design-by-Design Convolutional Neural Network)を提案する。 このモデルは、残留または高密度のスキップ接続を持つ高精度CNNである予測器で構成されている。 観測を収集し,直接確率を計算することにより,隣接するレベルのモチーフ間の因果関係を説明することができる。
  論文  参考訳（メタデータ） (2024-10-31T18:39:41Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Towards Rigorous Understanding of Neural Networks via Semantics-preserving Transformations [0.0]
  本稿では,Rectifier Neural Networksの正確かつグローバルな検証と説明に対するアプローチを提案する。 我々のアプローチの鍵は、意味論的に等価なTyped Affine Decision Structureの構築を可能にする、これらのネットワークのシンボリック実行である。
  論文  参考訳（メタデータ） (2023-01-19T11:35:07Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• Integral representations of shallow neural network with Rectified Power Unit activation function [5.863264019032882]
  我々は、Rectified Power Unitアクティベーション関数を持つ浅層ニューラルネットワークの積分表現の式を導出する。 この論文における多次元結果は、有界ノルムとおそらく非有界幅で表現できる関数の集合を特徴づける。
  論文  参考訳（メタデータ） (2021-12-20T15:18:11Z)
• Exact solutions of interacting dissipative systems via weak symmetries [77.34726150561087]
  我々は任意の強い相互作用や非線形性を持つクラスマルコフ散逸系(英語版)のリウヴィリアンを解析的に対角化する。 これにより、フルダイナミックスと散逸スペクトルの正確な記述が可能になる。 我々の手法は他の様々なシステムに適用でき、複雑な駆動散逸量子系の研究のための強力な新しいツールを提供することができる。
  論文  参考訳（メタデータ） (2021-09-27T17:45:42Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Linear approximability of two-layer neural networks: A comprehensive analysis based on spectral decay [4.042159113348107]
  まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。 また,2層ニューラルネットワークについても同様の結果が得られた。
  論文  参考訳（メタデータ） (2021-08-10T23:30:29Z)
• Activation function dependence of the storage capacity of treelike neural networks [16.244541005112747]
  ニューラルネットワークにおいて非線形活性化関数が提案されている。 本研究では,活性化関数が木のような2層ネットワークの記憶能力に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-07-21T23:51:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。