Fugu-MT 論文翻訳(概要): Geometry of Polynomial Neural Networks

論文の概要: Geometry of Polynomial Neural Networks

arxiv url: http://arxiv.org/abs/2402.00949v2
Date: Mon, 04 Nov 2024 17:39:35 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-05 14:41:55.932404
Title: Geometry of Polynomial Neural Networks
Title（参考訳）: 多項式ニューラルネットワークの幾何学
Authors: Kaie Kubjas, Jiayi Li, Maximilian Wiesmann,
Abstract要約: 単項活性化機能を持つニューラルネットワーク(PNN)の表現性と学習過程について検討した。これらの理論的結果は実験を伴う。
参考スコア（独自算出の注目度）: 3.498371632913735
License:
Abstract: We study the expressivity and learning process for polynomial neural networks (PNNs) with monomial activation functions. The weights of the network parametrize the neuromanifold. In this paper, we study certain neuromanifolds using tools from algebraic geometry: we give explicit descriptions as semialgebraic sets and characterize their Zariski closures, called neurovarieties. We study their dimension and associate an algebraic degree, the learning degree, to the neurovariety. The dimension serves as a geometric measure for the expressivity of the network, the learning degree is a measure for the complexity of training the network and provides upper bounds on the number of learnable functions. These theoretical results are accompanied with experiments.
Abstract（参考訳）: 単項活性化関数を持つ多項式ニューラルネットワーク(PNN)の表現性と学習過程について検討する。ネットワークの重みは神経マニフォールドをパラメータ化する。本稿では,代数幾何学の道具を用いたある種のニューロ多様体について検討し,半代数集合として明示的な記述を行い,そのザリスキー閉包を特徴付ける。我々はそれらの次元を研究し、代数次数、学習次数とニューロバリアリティを関連付ける。この次元はネットワークの表現率の幾何学的測度として機能し、学習度はネットワークの訓練の複雑さの測度であり、学習可能な関数の数に上限を与える。これらの理論的結果は実験を伴う。

関連論文リスト

Activation thresholds and expressiveness of polynomial neural networks [0.0]
多項式ニューラルネットワークは様々な用途で実装されている。本稿では,ネットワークアーキテクチャのアクティベーションしきい値の概念を紹介する。
論文参考訳（メタデータ） (2024-08-08T16:28:56Z)
Tropical Expressivity of Neural Networks [0.0]
熱帯の幾何学を用いて、ニューラルネットワークの様々なアーキテクチャ的側面を特徴づけ、研究する。線形領域の正確な数を計算するアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-05-30T15:45:03Z)
A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
本稿ではReLUのような非微分可能活性化関数の事例について検討する。最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。本稿では,画像の分類と熱力学問題に関する数値実験を行った。
論文参考訳（メタデータ） (2024-04-09T08:11:46Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Randomly Weighted Neuromodulation in Neural Networks Facilitates Learning of Manifolds Common Across Tasks [1.9580473532948401]
幾何知覚ハッシュ関数(Geometric Sensitive Hashing function)は、教師あり学習においてクラス固有の多様体幾何を学ぶニューラルネットワークモデルである。神経変調システムを用いたランダムに重み付けされたニューラルネットワークは,この機能を実現することができることを示す。
論文参考訳（メタデータ） (2023-11-17T15:22:59Z)
Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文参考訳（メタデータ） (2023-10-16T02:12:32Z)
Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文参考訳（メタデータ） (2023-02-27T18:52:38Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
Neural population geometry: An approach for understanding biological and artificial neural networks [3.4809730725241605]
生体および人工ニューラルネットワークの機能に関する洞察を提供する幾何学的アプローチの例を概観する。神経集団幾何学は、生体と人工のニューラルネットワークにおける構造と機能の理解を統一する可能性がある。
論文参考訳（メタデータ） (2021-04-14T18:10:34Z)
Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
論文参考訳（メタデータ） (2020-10-22T09:10:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。