論文の概要: Activation thresholds and expressiveness of polynomial neural networks

• arxiv url: http://arxiv.org/abs/2408.04569v1
• Date: Thu, 8 Aug 2024 16:28:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 15:08:24.412529
• Title: Activation thresholds and expressiveness of polynomial neural networks
• Title（参考訳）: 多項式ニューラルネットワークの活性化しきい値と表現性
• Authors: Bella Finkel, Jose Israel Rodriguez, Chenxi Wu, Thomas Yahl,
• Abstract要約: 多項式ニューラルネットワークは様々な用途で実装されている。 本稿では,ネットワークアーキテクチャのアクティベーションしきい値の概念を紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Polynomial neural networks have been implemented in a range of applications and present an advantageous framework for theoretical machine learning. A polynomial neural network of fixed architecture and activation degree gives an algebraic map from the network's weights to a set of polynomials. The image of this map is the space of functions representable by the network. Its Zariski closure is an affine variety known as a neurovariety. The dimension of a polynomial neural network's neurovariety provides a measure of its expressivity. In this work, we introduce the notion of the activation threshold of a network architecture which expresses when the dimension of a neurovariety achieves its theoretical maximum. In addition, we prove expressiveness results for polynomial neural networks with equi-width~architectures.
• Abstract（参考訳）: 多項式ニューラルネットワークは様々なアプリケーションで実装されており、理論的機械学習に有利なフレームワークを提供する。 固定アーキテクチャとアクティベーション次数の多項式ニューラルネットワークは、ネットワークの重みから多項式の集合への代数写像を与える。 この写像の像は、ネットワークで表現できる関数の空間である。 ザリスキーの閉鎖は神経変種として知られるアフィン種である。 多項式ニューラルネットワークのニューロバリアリティの次元は、その表現力の尺度を提供する。 本稿では,ニューロバリアリティの次元がその理論的な最大値を達成したときに表現するネットワークアーキテクチャのアクティベーションしきい値の概念を紹介する。 さらに、等価幅〜構造を持つ多項式ニューラルネットワークの表現性を示す。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Geometry of Polynomial Neural Networks [3.498371632913735]
  単項活性化機能を持つニューラルネットワーク(PNN)の表現性と学習過程について検討した。 これらの理論的結果は実験を伴う。
  論文  参考訳（メタデータ） (2024-02-01T19:06:06Z)
• Universal Approximation Theorem for Vector- and Hypercomplex-Valued Neural Networks [0.3686808512438362]
  普遍近似定理(英: universal approximation theorem)は、1つの隠れた層を持つニューラルネットワークがコンパクト集合上の連続関数を近似できるという定理である。 これは、実数値ニューラルネットワークと超複素数値ニューラルネットワークに有効である。
  論文  参考訳（メタデータ） (2024-01-04T13:56:13Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• On the Approximation and Complexity of Deep Neural Networks to Invariant Functions [0.0]
  深部ニューラルネットワークの不変関数への近似と複雑性について検討する。 様々なタイプのニューラルネットワークモデルにより、幅広い不変関数を近似できることを示す。 我々は,高分解能信号のパラメータ推定と予測を理論的結論と結びつけることが可能なアプリケーションを提案する。
  論文  参考訳（メタデータ） (2022-10-27T09:19:19Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Open- and Closed-Loop Neural Network Verification using Polynomial Zonotopes [6.591194329459251]
  本稿では, 密接な非接触活性化関数を効率的に計算するための新しい手法を提案する。 特に,各ニューロンの入力出力関係を近似を用いて評価する。 その結果、他の手法よりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2022-07-06T14:39:19Z)
• Fourier Neural Networks for Function Approximation [2.840363325289377]
  ニューラルネットワークが普遍近似器であることは広く証明されている。 特に、狭いニューラルネットワークが、ディープニューラルネットワークによって実装されている関数を近似するために、ネットワークは指数関数的に多数のニューロンを取ることが証明されている。
  論文  参考訳（メタデータ） (2021-10-21T09:30:26Z)
• Graph Structure of Neural Networks [104.33754950606298]
  ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
  論文  参考訳（メタデータ） (2020-07-13T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。