Fugu-MT 論文翻訳(概要): Local and global topological complexity measures OF ReLU neural network functions

論文の概要: Local and global topological complexity measures OF ReLU neural network functions

arxiv url: http://arxiv.org/abs/2204.06062v2
Date: Mon, 1 Apr 2024 20:19:49 GMT
ステータス: 処理完了
システム内更新日: 2024-04-04 14:31:02.365918
Title: Local and global topological complexity measures OF ReLU neural network functions
Title（参考訳）: ReLUニューラルネットワーク関数の局所的および大域的位相的複雑性測定
Authors: J. Elisenda Grigsby, Kathryn Lindsey, Marissa Masden,
Abstract要約: Grunert-Kuhnel-Rote による Morse 理論のピースワイズ線形(PL) バージョンを適用して、位相的複雑性の新しい局所的および大域的概念を定義し、研究する。各 F に対して、標準ポリトープ複体 K(F) と領域の K(F) への変形レトラクションを構成し、計算を行うための便利なコンパクトモデルを生成する方法を示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We apply a generalized piecewise-linear (PL) version of Morse theory due to Grunert-Kuhnel-Rote to define and study new local and global notions of topological complexity for fully-connected feedforward ReLU neural network functions, F: R^n -> R. Along the way, we show how to construct, for each such F, a canonical polytopal complex K(F) and a deformation retract of the domain onto K(F), yielding a convenient compact model for performing calculations. We also give a construction showing that local complexity can be arbitrarily high.
Abstract（参考訳）: Grunert-Kuhnel-Rote による Morse 理論の一般化されたピースワイズ線形(PL) バージョンを適用し、完全連結フィードフォワード ReLU ニューラルネットワーク関数 F: R^n -> R に対する局所的および大域的位相的複雑性の概念を定義し、研究する。また、局所的な複雑さが任意に高いことを示す構成を与える。

関連論文リスト

Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
論文参考訳（メタデータ） (2024-02-04T08:57:42Z)
Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文参考訳（メタデータ） (2023-05-25T14:17:15Z)
On Rademacher Complexity-based Generalization Bounds for Deep Learning [18.601449856300984]
Rademacherの複雑性に基づくアプローチは、畳み込みニューラルネットワーク(CNN)上の非空の一般化バウンダリを生成することができることを示す。以上の結果から,ReLU,Leaky ReLU,Parametric Rectifier Linear Unit,Sigmoid,Tanhなどの特別なアクティベーション機能を持つCNNのネットワーク長に依存しないことがわかった。
論文参考訳（メタデータ） (2022-08-08T17:24:04Z)
Topological Deep Learning: Going Beyond Graph Data [26.325857542512047]
我々は、広く採用されている位相領域を含むよりリッチなデータ構造の上に構築された統一的な深層学習フレームワークを提案する。具体的には、新しいタイプのトポロジカルドメインであるコンプレックスを導入する。我々は、主に注意に基づくCCNNに焦点を当てた、メッセージパッシング複合ニューラルネットワーク(CCNN)のクラスを開発する。
論文参考訳（メタデータ） (2022-06-01T16:21:28Z)
Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文参考訳（メタデータ） (2021-10-28T14:59:41Z)
Towards Understanding Theoretical Advantages of Complex-Reaction Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文参考訳（メタデータ） (2021-08-15T10:13:49Z)
On the Expected Complexity of Maxout Networks [0.0]
近年の研究では、深いReLUネットワークの実際的な複雑さは理論的な最大値からは程遠いことが示されている。本研究では、この現象は、最大(マルチモーメント)アクティベーション関数を持つネットワークでも発生することを示す。また、パラメータ空間は、広く異なる複雑さを持つ多次元領域を持ち、期待される複雑さの非自明な下界を得ることを示す。
論文参考訳（メタデータ） (2021-07-01T11:36:32Z)
On transversality of bent hyperplane arrangements and the topological expressiveness of ReLU neural networks [0.0]
F のアーキテクチャが二分分類タスクにおける決定領域の幾何と位相にどのように影響するかを考察する。一般化されたReLUネットワーク F: Rn -> R の1つの隠蔽層を持つ決定領域が1つ以上の有界連結成分を持つことを証明するために、この障害を用いる。
論文参考訳（メタデータ） (2020-08-20T16:06:39Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)
Local Propagation in Constraint-based Neural Network [77.37829055999238]
ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
論文参考訳（メタデータ） (2020-02-18T16:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。