論文の概要: Local and global topological complexity measures OF ReLU neural network
functions
- arxiv url: http://arxiv.org/abs/2204.06062v1
- Date: Tue, 12 Apr 2022 19:49:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-14 23:54:29.663092
- Title: Local and global topological complexity measures OF ReLU neural network
functions
- Title(参考訳): ReLUニューラルネットワーク関数の局所的および大域的位相的複雑性測定
- Authors: J. Elisenda Grigsby and Kathryn Lindsey and Marissa Masden
- Abstract要約: Grunert-Kuhnel-Rote による Morse 理論のピースワイズ線形(PL) バージョンを適用して、位相的複雑性の新しい局所的および大域的概念を定義し、研究する。
各 F に対して、標準ポリトープ複体 K(F) と領域の K(F) への変形をどのように構成するかを示し、計算を行うのに便利なコンパクトモデルを生成する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We apply a generalized piecewise-linear (PL) version of Morse theory due to
Grunert-Kuhnel-Rote to define and study new local and global notions of
topological complexity for fully-connected feedforward ReLU neural network
functions, F: R^n -> R. Along the way, we show how to construct, for each such
F, a canonical polytopal complex K(F) and a deformation retract of the domain
onto K(F), yielding a convenient compact model for performing calculations. We
also give a combinatorial description of local complexity for depth 2 networks,
and a construction showing that local complexity can be arbitrarily high.
- Abstract(参考訳): 本稿では,完全連結フィードフォワード relu ニューラルネットワーク関数 f: r^n -> r に対する局所的および大域的複雑度の概念を定義するために,grunert-kuhnel-rote によるモース理論の一般化された区分線形(pl)バージョンを適用した。
また,深度2ネットワークにおける局所的複雑性の組合せ記述を行い,局所的複雑性が任意に高いことを示す。
関連論文リスト
- Defining Neural Network Architecture through Polytope Structures of
Dataset [60.142611380235856]
本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。
本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。
MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
論文 参考訳(メタデータ) (2024-02-04T08:57:42Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳(メタデータ) (2023-05-25T14:17:15Z) - Algorithmic Determination of the Combinatorial Structure of the Linear
Regions of ReLU Neural Networks [0.0]
正準多面体のすべての次元の領域と面を決定する。
この全標準構造を計算するアルゴリズムを提案する。
得られたアルゴリズムは、中間ニューロンの数に時間とともに数値的に安定し、すべての次元にわたって正確な情報を得る。
論文 参考訳(メタデータ) (2022-07-15T18:36:12Z) - Topological Deep Learning: Going Beyond Graph Data [26.325857542512047]
我々は、広く採用されている位相領域を含むよりリッチなデータ構造の上に構築された統一的な深層学習フレームワークを提案する。
具体的には、新しいタイプのトポロジカルドメインであるコンプレックスを導入する。
我々は、主に注意に基づくCCNNに焦点を当てた、メッセージパッシング複合ニューラルネットワーク(CCNN)のクラスを開発する。
論文 参考訳(メタデータ) (2022-06-01T16:21:28Z) - Traversing the Local Polytopes of ReLU Neural Networks: A Unified
Approach for Network Verification [6.71092092685492]
ReLUアクティベーション機能を備えたニューラルネットワーク(NN)は、幅広いアプリケーションで成功している。
頑健さを検証し,解釈可能性を向上させるための従来の研究は,ReLU NNの断片線形関数形式を部分的に活用した。
本稿では,ReLU NNが入力空間で生成する独自のトポロジ構造について検討し,分割した局所ポリトープ間の隣接性を同定する。
論文 参考訳(メタデータ) (2021-11-17T06:12:39Z) - Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。
単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文 参考訳(メタデータ) (2021-10-28T14:59:41Z) - Towards Understanding Theoretical Advantages of Complex-Reaction
Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。
経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文 参考訳(メタデータ) (2021-08-15T10:13:49Z) - On the Expected Complexity of Maxout Networks [0.0]
近年の研究では、深いReLUネットワークの実際的な複雑さは理論的な最大値からは程遠いことが示されている。
本研究では、この現象は、最大(マルチモーメント)アクティベーション関数を持つネットワークでも発生することを示す。
また、パラメータ空間は、広く異なる複雑さを持つ多次元領域を持ち、期待される複雑さの非自明な下界を得ることを示す。
論文 参考訳(メタデータ) (2021-07-01T11:36:32Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳(メタデータ) (2021-05-26T18:07:19Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳(メタデータ) (2020-06-16T07:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。