論文の概要: Expressivity of Shallow Neural Networks Over Finite Fields
- arxiv url: http://arxiv.org/abs/2607.17090v1
- Date: Sun, 19 Jul 2026 06:02:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.353087
- Title: Expressivity of Shallow Neural Networks Over Finite Fields
- Title(参考訳): 有限場上の浅層ニューラルネットワークの表現性
- Abstract要約: 有限体上の単項活性化関数を持つ浅部ニューラルネットワーク(PNN)の表現性について検討した。
ニューロマニフォールドの濃度による表現性を定量化し、自然な下界と上界を導出する。
本稿では, 有限特性場に対する特性零点について考えると, 神経マニフォールドの顕著な差を示すアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 5.181088692457079
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the expressivity of shallow polynomial neural networks (PNNs) with monomial activation functions over finite fields. For a given architecture, we define a neuromanifold as the image of the map from all possible network weights into the product of polynomial rings. We quantify the expressivity by the cardinality of the neuromanifold, and derive a natural lower and upper bound. This leads to counting rational points over finite fields, a problem closely linked to the Weil conjectures. Finally, we present an architecture that exhibits a striking difference in the neuromanifolds when considered over a characteristic zero versus a finite-characteristic field, illustrating the critical role of field characteristic in the notion of expressivity.
- Abstract(参考訳): 有限体上の単項活性化関数を持つ浅い多項式ニューラルネットワーク(PNN)の表現性について検討する。
与えられたアーキテクチャに対して、すべての可能なネットワーク重みから多項式環の積への写像の像としてニューロ多様体を定義する。
我々は神経マニフォールドの濃度で表現力を定量化し、自然な下界と上界を導出する。
これは、ワイル予想と密接に関連している問題である有限体上の有理点を数えることにつながる。
最後に、特性零点と有限特性場について考えると、神経多様体の顕著な差を示すアーキテクチャを示し、表現性の概念におけるフィールド特性の重要な役割を説明できる。
関連論文リスト
- AffineLens: Capturing the Continuous Piecewise Affine Functions of Neural Networks [23.025211488990077]
Piecewise Affine Neural Network (PANN) は、ニューラルネットワークの表現性に関する原則的な幾何学的視点を提供する。
AffineLensは、超平面配置とPANNを基盤とした多面体構造を計算するための統一的なフレームワークである。
論文 参考訳(メタデータ) (2026-05-07T13:16:39Z) - A Unified Representation of Neural Networks Architectures [2.7018389296091505]
本稿では,各隠蔽層内のニューロン数と隠蔽層数とが無限大となる傾向にある場合,ニューラルネットワークアーキテクチャ(NN)の制限事例について考察する。
既存の有限次元および無限次元NNのほとんどが、DiPaNet表現とホモジェナイゼーション/離散化を介して関連していることを示す。
論文 参考訳(メタデータ) (2025-12-19T14:01:50Z) - Activation degree thresholds and expressiveness of polynomial neural networks [0.4666493857924357]
本研究では, 深部ニューラルネットワークの表現力について, ニューロバリアリティの幾何学的手法を用いて検討する。
我々は、幅1のボトルネックを伴わない全てのニューラルネットワークに対して、アクティベーション度閾値の存在を証明した。
論文 参考訳(メタデータ) (2024-08-08T16:28:56Z) - Structure of universal formulas [13.794391803767617]
本稿では,大域近似特性と無限VC次元の弱い性質を結合するクラス階層を導入する。
活性化するニューロンの層が1つ以上ある固定サイズニューラルネットワークは任意の有限集合上の関数を近似できないことを示す。
任意の有限集合上の関数を近似する2層ニューラルネットワークを含む関数族を例に挙げるが、定義領域全体においてそれを行うことができない。
論文 参考訳(メタデータ) (2023-11-07T11:50:25Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳(メタデータ) (2023-05-25T14:17:15Z) - On the Expressiveness and Generalization of Hypergraph Neural Networks [77.65788763444877]
この拡張抽象化はハイパーグラフニューラルネットワーク(HyperGNN)の表現性、学習、および(構造的)一般化を分析するためのフレームワークを記述する。
具体的には、HyperGNNが有限データセットからどのように学習し、任意の入力サイズのグラフ推論問題に構造的に一般化するかに焦点を当てる。
論文 参考訳(メタデータ) (2023-03-09T18:42:18Z) - Polynomial Neural Fields for Subband Decomposition and Manipulation [78.2401411189246]
我々はニューラルフィールド(PNF)と呼ばれる新しい種類のニューラルフィールドを提案する。
PNFの鍵となる利点は、信号がニューラルネットワークの利点を失うことなく、操作可能なコンポーネントと解釈可能なコンポーネントの合成として表現できることである。
本研究では,Fourier PNFがテクスチャ転送やスケール空間といった信号操作の応用を可能にすることを実証的に示す。
論文 参考訳(メタデータ) (2023-02-09T18:59:04Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳(メタデータ) (2022-09-16T06:36:06Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳(メタデータ) (2022-04-15T10:45:26Z) - Intrinsic Neural Fields: Learning Functions on Manifolds [45.269698580847916]
内在神経場は、ニューラルネットワークの利点とラプラス・ベルトラミ作用素のスペクトル特性を結合する。
内在型ニューラルネットワークは、最先端の画質で画像から高品質なテクスチャを再構築できることを示す。
様々なアプリケーションに対処することで,本質的ニューラルネットワークの汎用性を実証する。
論文 参考訳(メタデータ) (2022-03-15T14:52:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。