論文の概要: Separation Power of Equivariant Neural Networks

• arxiv url: http://arxiv.org/abs/2406.08966v2
• Date: Tue, 10 Dec 2024 13:03:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 22:09:44.965394
• Title: Separation Power of Equivariant Neural Networks
• Title（参考訳）: 等価ニューラルネットワークの分離パワー
• Authors: Marco Pacini, Xiaowen Dong, Bruno Lepri, Gabriele Santin,
• Abstract要約: 我々は、畳み込みや置換不変ネットワークなどの同変ニューラルネットワークの分離パワーを解析する。 ReLUやシグモイドを含む全ての非ポリノミカルな活性化は、表現力において等価であり、最大分離力に達する。
• 参考スコア（独自算出の注目度）: 11.906285279109477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The separation power of a machine learning model refers to its ability to distinguish between different inputs and is often used as a proxy for its expressivity. Indeed, knowing the separation power of a family of models is a necessary condition to obtain fine-grained universality results. In this paper, we analyze the separation power of equivariant neural networks, such as convolutional and permutation-invariant networks. We first present a complete characterization of inputs indistinguishable by models derived by a given architecture. From this results, we derive how separability is influenced by hyperparameters and architectural choices-such as activation functions, depth, hidden layer width, and representation types. Notably, all non-polynomial activations, including ReLU and sigmoid, are equivalent in expressivity and reach maximum separation power. Depth improves separation power up to a threshold, after which further increases have no effect. Adding invariant features to hidden representations does not impact separation power. Finally, block decomposition of hidden representations affects separability, with minimal components forming a hierarchy in separation power that provides a straightforward method for comparing the separation power of models.
• Abstract（参考訳）: 機械学習モデルの分離能力は、異なる入力を区別する能力を指し、その表現力のプロキシとしてしばしば使用される。 実際、モデルの族が分離する力を知ることは、きめ細かい普遍性の結果を得るために必要な条件である。 本稿では、畳み込みや置換不変ネットワークなどの同変ニューラルネットワークの分離パワーを解析する。 まず、与えられたアーキテクチャによって導出されるモデルで区別できない入力の完全な特徴付けを示す。 この結果から,アクティベーション関数,深さ,層幅,表現型など,分離性がハイパーパラメータやアーキテクチャ選択にどのように影響するかを導出する。 特に、ReLUやシグモイドを含む全ての非ポリノミカルな活性化は、表現力において等価であり、最大分離力に達する。 深さは分離電力をしきい値まで改善し、さらに増大しても効果がない。 隠された表現に不変の機能を追加しても、分離パワーには影響しない。 最後に、隠蔽表現のブロック分解は分離可能性に影響を与え、最小限のコンポーネントは分離パワーの階層を形成し、モデルの分離パワーを比較するための簡単な方法を提供する。

関連論文リスト

• Learning local discrete features in explainable-by-design convolutional neural networks [0.0]
  本稿では,側方抑制機構に基づくCNN(Design-by-Design Convolutional Neural Network)を提案する。 このモデルは、残留または高密度のスキップ接続を持つ高精度CNNである予測器で構成されている。 観測を収集し,直接確率を計算することにより,隣接するレベルのモチーフ間の因果関係を説明することができる。
  論文  参考訳（メタデータ） (2024-10-31T18:39:41Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Solution space and storage capacity of fully connected two-layer neural networks with generic activation functions [0.552480439325792]
  二項分類モデルの記憶容量は、モデルが学習できるパラメータ毎のランダムな入出力ペアの最大数である。 一般活性化機能を持つ完全連結二層ニューラルネットワークの解空間の構造と記憶容量を解析する。
  論文  参考訳（メタデータ） (2024-04-20T15:12:47Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Towards Rigorous Understanding of Neural Networks via Semantics-preserving Transformations [0.0]
  本稿では,Rectifier Neural Networksの正確かつグローバルな検証と説明に対するアプローチを提案する。 我々のアプローチの鍵は、意味論的に等価なTyped Affine Decision Structureの構築を可能にする、これらのネットワークのシンボリック実行である。
  論文  参考訳（メタデータ） (2023-01-19T11:35:07Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Polysemanticity and Capacity in Neural Networks [2.9260206957981167]
  ニューラルネットワークの個々のニューロンは、しばしば無関係な特徴の混合を表す。 この現象は多意味性(polysemanticity)と呼ばれ、ニューラルネットワークの解釈を難しくする。
  論文  参考訳（メタデータ） (2022-10-04T20:28:43Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• Clustering units in neural networks: upstream vs downstream information [3.222802562733787]
  フィードフォワード全接続ネットワークの隠蔽層表現のモジュラリティについて検討する。 2つの驚くべき結果が得られた: 第一に、ドロップアウトはモジュラリティを劇的に増加させ、他の形態の重み正規化はより穏やかな効果を持っていた。 このことは、入力の構造を反映するモジュラー表現を見つけることは、出力の構造を反映するモジュラー表現を学習することとは異なる目標である、という示唆から、表現学習に重要な意味を持つ。
  論文  参考訳（メタデータ） (2022-03-22T15:35:10Z)
• Integral representations of shallow neural network with Rectified Power Unit activation function [5.863264019032882]
  我々は、Rectified Power Unitアクティベーション関数を持つ浅層ニューラルネットワークの積分表現の式を導出する。 この論文における多次元結果は、有界ノルムとおそらく非有界幅で表現できる関数の集合を特徴づける。
  論文  参考訳（メタデータ） (2021-12-20T15:18:11Z)
• Exact solutions of interacting dissipative systems via weak symmetries [77.34726150561087]
  我々は任意の強い相互作用や非線形性を持つクラスマルコフ散逸系(英語版)のリウヴィリアンを解析的に対角化する。 これにより、フルダイナミックスと散逸スペクトルの正確な記述が可能になる。 我々の手法は他の様々なシステムに適用でき、複雑な駆動散逸量子系の研究のための強力な新しいツールを提供することができる。
  論文  参考訳（メタデータ） (2021-09-27T17:45:42Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Linear approximability of two-layer neural networks: A comprehensive analysis based on spectral decay [4.042159113348107]
  まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。 また,2層ニューラルネットワークについても同様の結果が得られた。
  論文  参考訳（メタデータ） (2021-08-10T23:30:29Z)
• It's FLAN time! Summing feature-wise latent representations for interpretability [0.0]
  FLAN(Feature-wise Latent Additive Networks)と呼ばれる構造拘束型ニューラルネットワークの新たなクラスを提案する。 FLANは各入力機能を別々に処理し、それぞれに共通の潜在空間の表現を演算する。 これらの特徴的潜在表現は単純に要約され、集約された表現は予測に使用される。
  論文  参考訳（メタデータ） (2021-06-18T12:19:33Z)
• CausalX: Causal Explanations and Block Multilinear Factor Analysis [3.087360758008569]
  全体と部分の統一多線形モデルを提案する。 ボトムアップ計算の代替品であるインクリメンタルmモードブロックsvdを導入する。 結果のオブジェクト表現は、オブジェクトの全体と部分の階層に関連する固有の因果係数表現の解釈可能な選択である。
  論文  参考訳（メタデータ） (2021-02-25T13:49:01Z)
• Invariant Deep Compressible Covariance Pooling for Aerial Scene Categorization [80.55951673479237]
  本研究では,空気シーン分類におけるニュアンス変動を解決するために,新しい不変な深部圧縮性共分散プール (IDCCP) を提案する。 本研究では,公開空間画像データセットに関する広範な実験を行い,最先端の手法と比較して,この手法の優位性を実証する。
  論文  参考訳（メタデータ） (2020-11-11T11:13:07Z)
• Activation function dependence of the storage capacity of treelike neural networks [16.244541005112747]
  ニューラルネットワークにおいて非線形活性化関数が提案されている。 本研究では,活性化関数が木のような2層ネットワークの記憶能力に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-07-21T23:51:45Z)
• Learning to Manipulate Individual Objects in an Image [71.55005356240761]
  本稿では,独立性および局所性を有する潜在因子を用いた生成モデルを学習する手法について述べる。 これは、潜伏変数の摂動が、オブジェクトに対応する合成画像の局所領域のみに影響を与えることを意味する。 他の教師なし生成モデルとは異なり、オブジェクトレベルのアノテーションを必要とせず、オブジェクト中心の操作を可能にする。
  論文  参考訳（メタデータ） (2020-04-11T21:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。