論文の概要: Conceptual capacity and effective complexity of neural networks
- arxiv url: http://arxiv.org/abs/2103.07614v1
- Date: Sat, 13 Mar 2021 04:32:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-16 14:26:34.457366
- Title: Conceptual capacity and effective complexity of neural networks
- Title（参考訳）: ニューラルネットワークの概念的容量と有効複雑性
- Authors: Lech Szymanski, Brendan McCane, Craig Atkinson
- Abstract要約: 本稿では,異なる入力からの接空間の集合の多様性に基づくニューラルネットワークマッピング関数の複雑度測定法を提案する。
各接空間を線形pac概念として扱うために、ネットワークの概念的容量を推定するために、概念束のエントロピーに基づく測度を用いる。
- 参考スコア（独自算出の注目度）: 0.7734726150561086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a complexity measure of a neural network mapping function based on
the diversity of the set of tangent spaces from different inputs. Treating each
tangent space as a linear PAC concept we use an entropy-based measure of the
bundle of concepts in order to estimate the conceptual capacity of the network.
The theoretical maximal capacity of a ReLU network is equivalent to the number
of its neurons. In practice however, due to correlations between neuron
activities within the network, the actual capacity can be remarkably small,
even for very big networks. Empirical evaluations show that this new measure is
correlated with the complexity of the mapping function and thus the
generalisation capabilities of the corresponding network. It captures the
effective, as oppose to the theoretical, complexity of the network function. We
also showcase some uses of the proposed measure for analysis and comparison of
trained neural network models.
- Abstract（参考訳）: 本稿では,異なる入力からの接空間の集合の多様性に基づくニューラルネットワークマッピング関数の複雑度測定法を提案する。
各接空間を線形pac概念として扱うために、ネットワークの概念的容量を推定するために、概念束のエントロピーに基づく測度を用いる。
ReLUネットワークの理論的最大容量は、そのニューロンの数と等価である。
しかし実際には、ネットワーク内のニューロン活動間の相関のため、非常に大きなネットワークであっても実際の能力は著しく小さい。
経験的評価は、この新しい尺度がマッピング関数の複雑さと対応するネットワークの一般化能力と相関していることを示している。
ネットワーク機能の理論的複雑さとは対照的に、効果的にキャプチャされる。
また、トレーニングニューラルネットワークモデルの解析と比較のための提案手法のいくつかの利用についても紹介する。
関連論文リスト
- Universal Approximation Theorem for Vector- and Hypercomplex-Valued Neural Networks [0.3686808512438362]
普遍近似定理(英: universal approximation theorem)は、1つの隠れた層を持つニューラルネットワークがコンパクト集合上の連続関数を近似できるという定理である。
これは、実数値ニューラルネットワークと超複素数値ニューラルネットワークに有効である。
論文 参考訳（メタデータ） (2024-01-04T13:56:13Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Exploring the Complexity of Deep Neural Networks through Functional Equivalence [1.3597551064547502]
本稿では,ニューラルネットワークの複雑性を低減できることを示す,ディープニューラルネットワークの被覆数に縛られた新しい手法を提案する。
ネットワーク幅の増大により有効パラメータ空間の容量が減少するので、パラメータ化ネットワーク上でのトレーニングが容易になる傾向があるため、関数同値の利点が最適化されることを実証する。
論文 参考訳（メタデータ） (2023-05-19T04:01:27Z) - Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳（メタデータ） (2023-04-19T16:39:44Z) - On the Approximation and Complexity of Deep Neural Networks to Invariant
Functions [0.0]
深部ニューラルネットワークの不変関数への近似と複雑性について検討する。
様々なタイプのニューラルネットワークモデルにより、幅広い不変関数を近似できることを示す。
我々は,高分解能信号のパラメータ推定と予測を理論的結論と結びつけることが可能なアプリケーションを提案する。
論文 参考訳（メタデータ） (2022-10-27T09:19:19Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳（メタデータ） (2022-03-30T21:47:32Z) - Towards Understanding Theoretical Advantages of Complex-Reaction
Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。
経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文 参考訳（メタデータ） (2021-08-15T10:13:49Z) - Optimal Approximation with Sparse Neural Networks and Applications [0.0]
深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。
また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。
次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
論文 参考訳（メタデータ） (2021-08-14T05:14:13Z) - Deep Kronecker neural networks: A general framework for neural networks
with adaptive activation functions [4.932130498861987]
我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。
適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
論文 参考訳（メタデータ） (2021-05-20T04:54:57Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。