Fugu-MT 論文翻訳(概要): Activation thresholds and expressiveness of polynomial neural networks

論文の概要: Activation thresholds and expressiveness of polynomial neural networks

arxiv url: http://arxiv.org/abs/2408.04569v1
Date: Thu, 8 Aug 2024 16:28:56 GMT
ステータス: 翻訳完了
システム内更新日: 2024-08-09 15:08:24.412529
Title: Activation thresholds and expressiveness of polynomial neural networks
Title（参考訳）: 多項式ニューラルネットワークの活性化しきい値と表現性
Authors: Bella Finkel, Jose Israel Rodriguez, Chenxi Wu, Thomas Yahl,
Abstract要約: 多項式ニューラルネットワークは様々な用途で実装されている。本稿では,ネットワークアーキテクチャのアクティベーションしきい値の概念を紹介する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Polynomial neural networks have been implemented in a range of applications and present an advantageous framework for theoretical machine learning. A polynomial neural network of fixed architecture and activation degree gives an algebraic map from the network's weights to a set of polynomials. The image of this map is the space of functions representable by the network. Its Zariski closure is an affine variety known as a neurovariety. The dimension of a polynomial neural network's neurovariety provides a measure of its expressivity. In this work, we introduce the notion of the activation threshold of a network architecture which expresses when the dimension of a neurovariety achieves its theoretical maximum. In addition, we prove expressiveness results for polynomial neural networks with equi-width~architectures.
Abstract（参考訳）: 多項式ニューラルネットワークは様々なアプリケーションで実装されており、理論的機械学習に有利なフレームワークを提供する。固定アーキテクチャとアクティベーション次数の多項式ニューラルネットワークは、ネットワークの重みから多項式の集合への代数写像を与える。この写像の像は、ネットワークで表現できる関数の空間である。ザリスキーの閉鎖は神経変種として知られるアフィン種である。多項式ニューラルネットワークのニューロバリアリティの次元は、その表現力の尺度を提供する。本稿では,ニューロバリアリティの次元がその理論的な最大値を達成したときに表現するネットワークアーキテクチャのアクティベーションしきい値の概念を紹介する。さらに、等価幅〜構造を持つ多項式ニューラルネットワークの表現性を示す。

関連論文リスト

Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文参考訳（メタデータ） (2024-06-14T13:12:07Z)
Tropical Expressivity of Neural Networks [0.0]
熱帯の幾何学を用いて、ニューラルネットワークの様々なアーキテクチャ的側面を特徴づけ、研究する。線形領域の正確な数を計算するアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-05-30T15:45:03Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Geometry of Polynomial Neural Networks [3.498371632913735]
単項活性化機能を持つニューラルネットワーク(PNN)の表現性と学習過程について検討した。これらの理論的結果は実験を伴う。
論文参考訳（メタデータ） (2024-02-01T19:06:06Z)
Universal Approximation Theorem for Vector- and Hypercomplex-Valued Neural Networks [0.3686808512438362]
普遍近似定理(英: universal approximation theorem)は、1つの隠れた層を持つニューラルネットワークがコンパクト集合上の連続関数を近似できるという定理である。これは、実数値ニューラルネットワークと超複素数値ニューラルネットワークに有効である。
論文参考訳（メタデータ） (2024-01-04T13:56:13Z)
Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文参考訳（メタデータ） (2023-10-16T02:12:32Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文参考訳（メタデータ） (2023-05-25T14:17:15Z)
On the Expressiveness and Generalization of Hypergraph Neural Networks [77.65788763444877]
この拡張抽象化はハイパーグラフニューラルネットワーク(HyperGNN)の表現性、学習、および(構造的)一般化を分析するためのフレームワークを記述する。具体的には、HyperGNNが有限データセットからどのように学習し、任意の入力サイズのグラフ推論問題に構造的に一般化するかに焦点を当てる。
論文参考訳（メタデータ） (2023-03-09T18:42:18Z)
Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文参考訳（メタデータ） (2023-02-27T18:52:38Z)
Weisfeiler and Leman Go Relational [4.29881872550313]
本稿では,よく知られたGCNおよびコンポジションGCNアーキテクチャの表現力の限界について検討する。上記の2つのアーキテクチャの制限を確実に克服する$k$-RNアーキテクチャを導入します。
論文参考訳（メタデータ） (2022-11-30T15:56:46Z)
On the Approximation and Complexity of Deep Neural Networks to Invariant Functions [0.0]
深部ニューラルネットワークの不変関数への近似と複雑性について検討する。様々なタイプのニューラルネットワークモデルにより、幅広い不変関数を近似できることを示す。我々は,高分解能信号のパラメータ推定と予測を理論的結論と結びつけることが可能なアプリケーションを提案する。
論文参考訳（メタデータ） (2022-10-27T09:19:19Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
Open- and Closed-Loop Neural Network Verification using Polynomial Zonotopes [6.591194329459251]
本稿では, 密接な非接触活性化関数を効率的に計算するための新しい手法を提案する。特に,各ニューロンの入力出力関係を近似を用いて評価する。その結果、他の手法よりも優れた性能が得られる。
論文参考訳（メタデータ） (2022-07-06T14:39:19Z)
Entropy Maximization with Depth: A Variational Principle for Random Neural Networks [1.864159622659575]
バッチ正規化を組み込んだランダムニューラルネットワークは、最大で定数要素の深さを持つ表現の微分エントロピーを最大化する。我々のニューラル表現の変分定式化は、表現エントロピーとアーキテクチャコンポーネント間の相互作用を特徴付ける。
論文参考訳（メタデータ） (2022-05-25T23:00:26Z)
Hyperbolic Graph Neural Networks: A Review of Methods and Applications [55.5502008501764]
グラフニューラルネットワークは、従来のニューラルネットワークをグラフ構造化データに一般化する。グラフ関連学習におけるユークリッドモデルの性能は、ユークリッド幾何学の表現能力によって依然として制限されている。近年,木のような構造を持つグラフデータ処理や,ゆるい分布の処理において,双曲空間が人気が高まっている。
論文参考訳（メタデータ） (2022-02-28T15:08:48Z)
Fourier Neural Networks for Function Approximation [2.840363325289377]
ニューラルネットワークが普遍近似器であることは広く証明されている。特に、狭いニューラルネットワークが、ディープニューラルネットワークによって実装されている関数を近似するために、ネットワークは指数関数的に多数のニューロンを取ることが証明されている。
論文参考訳（メタデータ） (2021-10-21T09:30:26Z)
Graph Structure of Neural Networks [104.33754950606298]
ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
論文参考訳（メタデータ） (2020-07-13T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。