論文の概要: Algebraic Complexity and Neurovariety of Linear Convolutional Networks
- arxiv url: http://arxiv.org/abs/2401.16613v1
- Date: Mon, 29 Jan 2024 23:00:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 16:54:55.164709
- Title: Algebraic Complexity and Neurovariety of Linear Convolutional Networks
- Title(参考訳): 線形畳み込みネットワークの代数的複雑さとニューロバリアリティ
- Authors: Vahid Shahverdi
- Abstract要約: 線形畳み込みネットワークを1次元および任意のストライドで検討する。
共通零点が対応する神経多様体のザリスキー閉包に対応する方程式を生成する。
このようなネットワークの最適化におけるすべての複素臨界点の数は、セグレ多様体の一般的なユークリッド距離と等しいことが判明した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study linear convolutional networks with one-dimensional
filters and arbitrary strides. The neuromanifold of such a network is a
semialgebraic set, represented by a space of polynomials admitting specific
factorizations. Introducing a recursive algorithm, we generate polynomial
equations whose common zero locus corresponds to the Zariski closure of the
corresponding neuromanifold. Furthermore, we explore the algebraic complexity
of training these networks employing tools from metric algebraic geometry. Our
findings reveal that the number of all complex critical points in the
optimization of such a network is equal to the generic Euclidean distance
degree of a Segre variety. Notably, this count significantly surpasses the
number of critical points encountered in the training of a fully connected
linear network with the same number of parameters.
- Abstract(参考訳): 本稿では,一次元フィルタと任意のステップを持つ線形畳み込みネットワークについて検討する。
そのようなネットワークの神経多様体は半代数集合であり、特定の分解を許容する多項式の空間で表される。
再帰的アルゴリズムを導入し、共通零点が対応する神経多様体のザリスキー閉包に対応する多項式方程式を生成する。
さらに,計量代数幾何学のツールを用いて,これらのネットワークを訓練する代数的複雑性を考察する。
その結果,そのようなネットワークの最適化における全ての複素臨界点の数は,セグレ多様体の一般ユークリッド距離次数に等しいことがわかった。
特に、この数値は、同じ数のパラメータを持つ完全連結線形ネットワークのトレーニングで遭遇する臨界点の数を大幅に上回っている。
関連論文リスト
- Spectral complexity of deep neural networks [2.099922236065961]
我々は,ネットワークアーキテクチャの複雑さを特徴付けるために,制限場の角パワースペクトルを用いる。
そこで我々は,ニューラルネットワークを低次,スパース,高次と分類する。
本稿では,この分類が標準アクティベーション関数の様々な特徴,特にReLUネットワークの空間特性を如何に強調するかを示す。
論文 参考訳(メタデータ) (2024-05-15T17:55:05Z) - Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳(メタデータ) (2023-10-16T02:12:32Z) - From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity [54.01594785269913]
我々は,標準正規化損失のトレーニングにおいて,深部ReLUニューラルネットワークの最適重みがトレーニングサンプルのウェッジ積によって与えられることを示した。
トレーニング問題は、トレーニングデータセットの幾何学的構造をエンコードするウェッジ製品機能よりも凸最適化に還元される。
論文 参考訳(メタデータ) (2023-09-28T15:19:30Z) - Function Space and Critical Points of Linear Convolutional Networks [4.483341215742946]
一次元畳み込み層を有する線形ネットワークの幾何学について検討する。
我々は,ネットワークアーキテクチャが関数空間の次元,境界,特異点に与える影響を分析する。
論文 参考訳(メタデータ) (2023-04-12T10:15:17Z) - Expressivity of Shallow and Deep Neural Networks for Polynomial
Approximation [0.0]
一般コンパクト領域上の積関数を近似する浅層ネットワークの複雑さの指数的下界を確立する。
また、この下界は単位立方体上の正規化リプシッツ単項数には適用されないことを示した。
論文 参考訳(メタデータ) (2023-03-06T23:01:53Z) - Path Regularization: A Convexity and Sparsity Inducing Regularization
for Parallel ReLU Networks [75.33431791218302]
本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。
我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
論文 参考訳(メタデータ) (2021-10-18T18:00:36Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - On the Number of Linear Functions Composing Deep Neural Network: Towards
a Refined Definition of Neural Networks Complexity [6.252236971703546]
分割線型関数を構成する線形関数間の同値関係を導入し、その同値関係に対してそれらの線形関数を数える。
我々の新しい複雑性測度は、2つのモデルを明確に区別することができ、古典的測度と整合し、指数関数的に深さに比例して増加する。
論文 参考訳(メタデータ) (2020-10-23T01:46:12Z) - Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。
畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
論文 参考訳(メタデータ) (2020-10-22T09:10:16Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。