論文の概要: Neural network layers as parametric spans
- arxiv url: http://arxiv.org/abs/2208.00809v1
- Date: Mon, 1 Aug 2022 12:41:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 14:51:09.539845
- Title: Neural network layers as parametric spans
- Title(参考訳): パラメトリックスパンとしてのニューラルネットワーク層
- Authors: Mattia G. Bergomi, Pietro Vertechi
- Abstract要約: 本稿では、積分理論とパラメトリックスパンの概念に基づく分類的枠組みから生じる線形層の定義について述べる。
この定義は古典的な層(例えば、密度、畳み込み)を一般化し包含し、バックプロパゲーションのために層の微分の存在と計算可能性を保証する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Properties such as composability and automatic differentiation made
artificial neural networks a pervasive tool in applications. Tackling more
challenging problems caused neural networks to progressively become more
complex and thus difficult to define from a mathematical perspective. We
present a general definition of linear layer arising from a categorical
framework based on the notions of integration theory and parametric spans. This
definition generalizes and encompasses classical layers (e.g., dense,
convolutional), while guaranteeing existence and computability of the layer's
derivatives for backpropagation.
- Abstract(参考訳): コンポーザビリティや自動微分などの特性により、人工ニューラルネットワークは応用において普及したツールとなった。
より難しい問題に取り組むことで、ニューラルネットワークは徐々に複雑になり、数学的観点から定義が難しくなった。
本稿では、積分理論とパラメトリックスパンの概念に基づく分類的枠組みから生じる線形層の定義について述べる。
この定義は古典的な層(例えば、密度、畳み込み)を一般化し包含し、バックプロパゲーションのために層の微分の存在と計算可能性を保証する。
関連論文リスト
- Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳(メタデータ) (2022-06-13T12:03:32Z) - Implicit Regularization in Hierarchical Tensor Factorization and Deep
Convolutional Neural Networks [18.377136391055327]
本稿では,階層的テンソル分解における暗黙の正規化を理論的に解析する。
これは、関連する畳み込みネットワークの局所性に対する暗黙の正規化に変換される。
我々の研究は、暗黙の正規化の理論解析を通じてニューラルネットワークを強化する可能性を強調している。
論文 参考訳(メタデータ) (2022-01-27T18:48:30Z) - Critical Initialization of Wide and Deep Neural Networks through Partial
Jacobians: General Theory and Applications [6.579523168465526]
ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。
我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
論文 参考訳(メタデータ) (2021-11-23T20:31:42Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Geometry Perspective Of Estimating Learning Capability Of Neural
Networks [0.0]
本稿では,勾配勾配勾配を用いた最小二乗回帰(SGD)を一般化したニューラルネットワークの幅広いクラスについて考察する。
一般化能力とニューラルネットワークの安定性との関係についても論じている。
ニューラルネットワークの学習理論と高エネルギー物理の原理を関連付けることにより,人工ニューラルネットワークの観点からの複雑性・摩擦予想の変種を確立する。
論文 参考訳(メタデータ) (2020-11-03T12:03:19Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Hyperbolic Neural Networks++ [66.16106727715061]
ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。
実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
論文 参考訳(メタデータ) (2020-06-15T08:23:20Z) - Implicitly Defined Layers in Neural Networks [12.167549413547908]
ニューラルネットワーク内の個々の層を定義することは、標準的な明示的な層よりもはるかにリッチな表現を提供することを示す。
既存の機械学習ライブラリに暗黙的に定義されたレイヤをシームレスに組み込む方法を示す。
論文 参考訳(メタデータ) (2020-03-03T22:44:42Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳(メタデータ) (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。