論文の概要: Geometry of Polynomial Neural Networks
- arxiv url: http://arxiv.org/abs/2402.00949v1
- Date: Thu, 1 Feb 2024 19:06:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 18:05:51.980472
- Title: Geometry of Polynomial Neural Networks
- Title(参考訳): 多項式ニューラルネットワークの幾何学
- Authors: Kaie Kubjas, Jiayi Li, Maximilian Wiesmann
- Abstract要約: 単項活性化機能を持つニューラルネットワーク(PNN)の表現性と学習過程について検討した。
これらの理論的結果は実験を伴う。
- 参考スコア(独自算出の注目度): 3.9318191265352196
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We study the expressivity and learning process for polynomial neural networks
(PNNs) with monomial activation functions. The weights of the network
parametrize the neuromanifold. In this paper, we study certain neuromanifolds
using tools from algebraic geometry: we give explicit descriptions as
semialgebraic sets and characterize their Zariski closures, called
neurovarieties. We study their dimension and associate an algebraic degree, the
learning degree, to the neurovariety. The dimension serves as a geometric
measure for the expressivity of the network, the learning degree is a measure
for the complexity of training the network and provides upper bounds on the
number of learnable functions. These theoretical results are accompanied with
experiments.
- Abstract(参考訳): 単項活性化関数を持つ多項式ニューラルネットワーク(PNN)の表現性と学習過程について検討する。
ネットワークの重みは神経マニフォールドをパラメータ化する。
本稿では, 代数幾何学のツールを用いて, 半代数集合として明示的な記述を与え, それらのザリスキ閉包を特徴付ける神経多様体について検討する。
それらの次元を研究し、代数的程度、学習度を神経変数に関連付ける。
この次元はネットワークの表現率の幾何学的測度として機能し、学習度はネットワークの訓練の複雑さの測度であり、学習可能な関数の数に上限を与える。
これらの理論的結果は実験を伴う。
関連論文リスト
- Fourier Circuits in Neural Networks: Unlocking the Potential of Large
Language Models in Mathematical Reasoning and Modular Arithmetic [47.39727610700663]
本稿では,特定の計算戦略を採用するネットワークの背景となる要因について検討する。
我々の研究は、$k$入力を含むモジュラ付加の複雑な代数的学習タスクに焦点を当てている。
我々はトランスフォーマーの注意に類似した計算機構を観察する。
論文 参考訳(メタデータ) (2024-02-12T05:52:06Z) - Universal Approximation Theorem for Vector- and Hypercomplex-Valued
Neural Networks [0.4143603294943439]
普遍近似定理(英: universal approximation theorem)は、1つの隠れた層を持つニューラルネットワークがコンパクト集合上の連続関数を近似できるという定理である。
これは、実数値ニューラルネットワークと超複素数値ニューラルネットワークに有効である。
論文 参考訳(メタデータ) (2024-01-04T13:56:13Z) - Probing Biological and Artificial Neural Networks with Task-dependent
Neural Manifolds [12.037840490243603]
本稿では,ニューラルネットワークの内部機構について,ニューラル集団幾何学のレンズを用いて検討する。
学習目的の違いが,これらのモデルの組織戦略の違いにどのように影響するかを定量的に評価する。
これらの分析は、ニューラルネットワークにおける機械的および規範的理論を神経集団幾何学を通してブリッジする強力な方向を示す。
論文 参考訳(メタデータ) (2023-12-21T20:40:51Z) - Randomly Weighted Neuromodulation in Neural Networks Facilitates
Learning of Manifolds Common Across Tasks [1.9580473532948401]
幾何知覚ハッシュ関数(Geometric Sensitive Hashing function)は、教師あり学習においてクラス固有の多様体幾何を学ぶニューラルネットワークモデルである。
神経変調システムを用いたランダムに重み付けされたニューラルネットワークは,この機能を実現することができることを示す。
論文 参考訳(メタデータ) (2023-11-17T15:22:59Z) - Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳(メタデータ) (2023-10-16T02:12:32Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳(メタデータ) (2022-09-16T06:36:06Z) - Neural population geometry: An approach for understanding biological and
artificial neural networks [3.4809730725241605]
生体および人工ニューラルネットワークの機能に関する洞察を提供する幾何学的アプローチの例を概観する。
神経集団幾何学は、生体と人工のニューラルネットワークにおける構造と機能の理解を統一する可能性がある。
論文 参考訳(メタデータ) (2021-04-14T18:10:34Z) - Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。
畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
論文 参考訳(メタデータ) (2020-10-22T09:10:16Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳(メタデータ) (2020-09-24T17:48:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。