論文の概要: Depth-Width Trade-offs for Neural Networks via Topological Entropy
- arxiv url: http://arxiv.org/abs/2010.07587v1
- Date: Thu, 15 Oct 2020 08:14:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 04:35:38.386475
- Title: Depth-Width Trade-offs for Neural Networks via Topological Entropy
- Title（参考訳）: トポロジカルエントロピーによるニューラルネットワークの深さ-幅トレードオフ
- Authors: Kaifeng Bu, Yaobo Zhang, Qingxian Luo
- Abstract要約: 本稿では,深部ニューラルネットワークの表現性と力学系からのトポロジカルエントロピーとの新たな関連性を示す。
位相エントロピー,振動数,周期,リプシッツ定数の関係について論じる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the central problems in the study of deep learning theory is to
understand how the structure properties, such as depth, width and the number of
nodes, affect the expressivity of deep neural networks. In this work, we show a
new connection between the expressivity of deep neural networks and topological
entropy from dynamical system, which can be used to characterize depth-width
trade-offs of neural networks. We provide an upper bound on the topological
entropy of neural networks with continuous semi-algebraic units by the
structure parameters. Specifically, the topological entropy of ReLU network
with $l$ layers and $m$ nodes per layer is upper bounded by $O(l\log m)$.
Besides, if the neural network is a good approximation of some function $f$,
then the size of the neural network has an exponential lower bound with respect
to the topological entropy of $f$. Moreover, we discuss the relationship
between topological entropy, the number of oscillations, periods and Lipschitz
constant.
- Abstract（参考訳）: 深層学習理論の研究における中心的な問題の1つは、深さ、幅、ノード数といった構造特性がディープニューラルネットワークの表現性にどのように影響するかを理解することである。
本研究では,ニューラルネットワークの深さ幅トレードオフを特徴付けるために,深部ニューラルネットワークの表現性と力学系からのトポロジ的エントロピーとの新たな関係を示す。
ニューラルネットワークのトポロジ的エントロピーに,構造パラメータによる連続半代数単位の上限を与える。
具体的には、$l$層と$m$層を持つReLUネットワークのトポロジ的エントロピーは、$O(l\log m)$で上限となる。
さらに、ニューラルネットワークが何らかの関数 $f$ のよい近似であるなら、ニューラルネットワークのサイズは、位相エントロピー $f$ に対して指数的に低い境界を持つ。
さらに,位相エントロピー,振動数,周期,リプシッツ定数との関係について考察する。
関連論文リスト
- Spectral complexity of deep neural networks [2.099922236065961]
我々は,ネットワークアーキテクチャの複雑さを特徴付けるために,制限場の角パワースペクトルを用いる。
そこで我々は,ニューラルネットワークを低次,スパース,高次と分類する。
本稿では,この分類が標準アクティベーション関数の様々な特徴,特にReLUネットワークの空間特性を如何に強調するかを示す。
論文 参考訳（メタデータ） (2024-05-15T17:55:05Z) - Topological Expressivity of ReLU Neural Networks [0.0]
本稿では,2値分類問題の設定におけるReLUニューラルネットワークの表現性について,トポロジ的観点から検討する。
その結果、深部ReLUニューラルネットワークは、トポロジカル単純化の観点から、浅部よりも指数関数的に強力であることがわかった。
論文 参考訳（メタデータ） (2023-10-17T10:28:00Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳（メタデータ） (2023-05-25T14:17:15Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Topological Insights into Sparse Neural Networks [16.515620374178535]
本稿では,グラフ理論の観点から,スパースニューラルネットワークトポロジの理解と比較を行うアプローチを提案する。
まず、異なるスパースニューラルネットワーク間の距離を測定するために、NNSTD(Neural Network Sparse Topology Distance)を提案する。
適応的なスパース接続は、高密度モデルよりも優れた非常に異なるトポロジを持つスパースサブネットワークを常に顕在化することができることを示す。
論文 参考訳（メタデータ） (2020-06-24T22:27:21Z) - Approximation in shift-invariant spaces with deep ReLU neural networks [7.7084107194202875]
拡張シフト不変空間における近似関数に対する深部ReLUニューラルネットワークの表現力について検討する。
近似誤差境界は、ニューラルネットワークの幅と深さに対して推定される。
論文 参考訳（メタデータ） (2020-05-25T07:23:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。