論文の概要: Activation degree thresholds and expressiveness of polynomial neural networks

• arxiv url: http://arxiv.org/abs/2408.04569v3
• Date: Fri, 25 Apr 2025 02:21:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 18:47:07.303425
• Title: Activation degree thresholds and expressiveness of polynomial neural networks
• Title（参考訳）: 多項式ニューラルネットワークの活性化度閾値と表現性
• Authors: Bella Finkel, Jose Israel Rodriguez, Chenxi Wu, Thomas Yahl,
• Abstract要約: 本研究では, 深部ニューラルネットワークの表現力について, ニューロバリアリティの幾何学的手法を用いて検討する。 我々は、幅1のボトルネックを伴わない全てのニューラルネットワークに対して、アクティベーション度閾値の存在を証明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the expressive power of deep polynomial neural networks through the geometry of their neurovariety. We introduce the notion of the activation degree threshold of a network architecture to express when the dimension of the neurovariety achieves its theoretical maximum. We prove the existence of the activation degree threshold for all polynomial neural networks without width-one bottlenecks and demonstrate a universal upper bound that is quadratic in the width of largest size. In doing so, we prove the high activation degree conjecture of Kileel, Trager, and Bruna. Certain structured architectures have exceptional activation degree thresholds, making them especially expressive in the sense of their neurovariety dimension. In this direction, we prove that polynomial neural networks with equi-width architectures are maximally expressive by showing their activation degree threshold is one.
• Abstract（参考訳）: 本研究では, 深部多項式ニューラルネットワークの表現力について, ニューロバリアリティの幾何学的手法を用いて検討する。 本稿では,ネットワークアーキテクチャのアクティベーション度閾値の概念を導入し,ニューロバリアリティの次元がその理論的な最大値を達成したときに表現する。 本研究では,すべての多項式ニューラルネットワークに対して,幅1のボトルネックのないアクティベート度閾値の存在を証明し,最大サイズで2次となる普遍的な上限を示す。 そのような場合、Kileel, Trager, Bruna の高活性化度予想を証明できる。 ある種の構造的アーキテクチャは例外的なアクティベーション度閾値を持ち、神経変量次元の意味で特に表現力がある。 この方向において、等価幅アーキテクチャを持つ多項式ニューラルネットワークは、その活性化度閾値が1であることを示し、最大表現可能であることを示す。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Tropical Expressivity of Neural Networks [0.0]
  熱帯の幾何学を用いて、ニューラルネットワークの様々なアーキテクチャ的側面を特徴づけ、研究する。 線形領域の正確な数を計算するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-30T15:45:03Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Geometry of Polynomial Neural Networks [3.498371632913735]
  単項活性化機能を持つニューラルネットワーク(PNN)の表現性と学習過程について検討した。 これらの理論的結果は実験を伴う。
  論文  参考訳（メタデータ） (2024-02-01T19:06:06Z)
• Universal Approximation Theorem for Vector- and Hypercomplex-Valued Neural Networks [0.3686808512438362]
  普遍近似定理(英: universal approximation theorem)は、1つの隠れた層を持つニューラルネットワークがコンパクト集合上の連続関数を近似できるという定理である。 これは、実数値ニューラルネットワークと超複素数値ニューラルネットワークに有効である。
  論文  参考訳（メタデータ） (2024-01-04T13:56:13Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• On the Expressiveness and Generalization of Hypergraph Neural Networks [77.65788763444877]
  この拡張抽象化はハイパーグラフニューラルネットワーク(HyperGNN)の表現性、学習、および(構造的)一般化を分析するためのフレームワークを記述する。 具体的には、HyperGNNが有限データセットからどのように学習し、任意の入力サイズのグラフ推論問題に構造的に一般化するかに焦点を当てる。
  論文  参考訳（メタデータ） (2023-03-09T18:42:18Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Weisfeiler and Leman Go Relational [4.29881872550313]
  本稿では,よく知られたGCNおよびコンポジションGCNアーキテクチャの表現力の限界について検討する。 上記の2つのアーキテクチャの制限を確実に克服する$k$-RNアーキテクチャを導入します。
  論文  参考訳（メタデータ） (2022-11-30T15:56:46Z)
• On the Approximation and Complexity of Deep Neural Networks to Invariant Functions [0.0]
  深部ニューラルネットワークの不変関数への近似と複雑性について検討する。 様々なタイプのニューラルネットワークモデルにより、幅広い不変関数を近似できることを示す。 我々は,高分解能信号のパラメータ推定と予測を理論的結論と結びつけることが可能なアプリケーションを提案する。
  論文  参考訳（メタデータ） (2022-10-27T09:19:19Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Open- and Closed-Loop Neural Network Verification using Polynomial Zonotopes [6.591194329459251]
  本稿では, 密接な非接触活性化関数を効率的に計算するための新しい手法を提案する。 特に,各ニューロンの入力出力関係を近似を用いて評価する。 その結果、他の手法よりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2022-07-06T14:39:19Z)
• Entropy Maximization with Depth: A Variational Principle for Random Neural Networks [1.864159622659575]
  バッチ正規化を組み込んだランダムニューラルネットワークは、最大で定数要素の深さを持つ表現の微分エントロピーを最大化する。 我々のニューラル表現の変分定式化は、表現エントロピーとアーキテクチャコンポーネント間の相互作用を特徴付ける。
  論文  参考訳（メタデータ） (2022-05-25T23:00:26Z)
• Hyperbolic Graph Neural Networks: A Review of Methods and Applications [55.5502008501764]
  グラフニューラルネットワークは、従来のニューラルネットワークをグラフ構造化データに一般化する。 グラフ関連学習におけるユークリッドモデルの性能は、ユークリッド幾何学の表現能力によって依然として制限されている。 近年,木のような構造を持つグラフデータ処理や,ゆるい分布の処理において,双曲空間が人気が高まっている。
  論文  参考訳（メタデータ） (2022-02-28T15:08:48Z)
• Fourier Neural Networks for Function Approximation [2.840363325289377]
  ニューラルネットワークが普遍近似器であることは広く証明されている。 特に、狭いニューラルネットワークが、ディープニューラルネットワークによって実装されている関数を近似するために、ネットワークは指数関数的に多数のニューロンを取ることが証明されている。
  論文  参考訳（メタデータ） (2021-10-21T09:30:26Z)
• Graph Structure of Neural Networks [104.33754950606298]
  ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
  論文  参考訳（メタデータ） (2020-07-13T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。