論文の概要: Complexity of Feed-Forward Neural Networks from the Perspective of
Functional Equivalence
- arxiv url: http://arxiv.org/abs/2305.11417v1
- Date: Fri, 19 May 2023 04:01:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 16:22:25.207946
- Title: Complexity of Feed-Forward Neural Networks from the Perspective of
Functional Equivalence
- Title(参考訳): 関数同値の観点から見たフィードフォワードニューラルネットワークの複雑性
- Authors: Guohao Shen
- Abstract要約: 本稿では,機能的等価性の概念を考察し,フィードフォワードニューラルネットワークの複雑さについて検討する。
我々は、置換不変性を利用して、フィードフォワードニューラルネットワークのクラスに束縛された新しい被覆数を導出する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we investigate the complexity of feed-forward neural networks
by examining the concept of functional equivalence, which suggests that
different network parameterizations can lead to the same function. We utilize
the permutation invariance property to derive a novel covering number bound for
the class of feedforward neural networks, which reveals that the complexity of
a neural network can be reduced by exploiting this property. Furthermore, based
on the symmetric structure of parameter space, we demonstrate that an
appropriate strategy of random parameter initialization can increase the
probability of convergence for optimization. We found that overparameterized
networks tend to be easier to train in the sense that increasing the width of
neural networks leads to a vanishing volume of the effective parameter space.
Our findings offer new insights into overparameterization and have significant
implications for understanding generalization and optimization in deep
learning.
- Abstract(参考訳): 本稿では,機能的等価性の概念を考察することにより,フィードフォワードニューラルネットワークの複雑さを考察し,異なるネットワークパラメータ化が同じ機能をもたらすことを示唆する。
この特性を利用してニューラルネットワークの複雑性を低減できることを示すフィードフォワードニューラルネットワークのクラスにバインドされた新しいカバー番号を導出するために、置換不変性を利用する。
さらに、パラメータ空間の対称構造に基づいて、ランダムパラメータ初期化の適切な戦略が最適化のための収束確率を増加させることを実証する。
過パラメータ化ネットワークは、ニューラルネットワークの幅が大きくなると、有効パラメータ空間の容量が消滅するという意味で、訓練がより容易であることがわかった。
今回の知見は,過剰パラメータ化に対する新たな洞察を提供し,ディープラーニングの一般化と最適化を理解する上で重要な意味を持つ。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-03-18T18:01:01Z) - Fractional Concepts in Neural Networks: Enhancing Activation and Loss
Functions [0.7614628596146602]
本稿では,ニューラルネットワークにおける分数的概念を用いて,アクティベーションと損失関数の修正を行う手法を提案する。
これにより、ネットワーク内のニューロンがアクティベーション関数を調整して、入力データとの整合性を向上し、出力エラーを低減できる。
論文 参考訳(メタデータ) (2023-10-18T10:49:29Z) - Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。
本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文 参考訳(メタデータ) (2023-03-05T17:57:33Z) - On the Approximation and Complexity of Deep Neural Networks to Invariant
Functions [0.0]
深部ニューラルネットワークの不変関数への近似と複雑性について検討する。
様々なタイプのニューラルネットワークモデルにより、幅広い不変関数を近似できることを示す。
我々は,高分解能信号のパラメータ推定と予測を理論的結論と結びつけることが可能なアプリケーションを提案する。
論文 参考訳(メタデータ) (2022-10-27T09:19:19Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Towards Understanding Theoretical Advantages of Complex-Reaction
Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。
経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文 参考訳(メタデータ) (2021-08-15T10:13:49Z) - Deep Neural Networks and PIDE discretizations [2.4063592468412276]
畳み込みニューラルネットワーク(CNN)の安定性と視野問題に対処するニューラルネットワークを提案する。
本稿では,大域重み付きラプラス作用素,分数ラプラス作用素,分数逆ラプラス作用素に関連する積分型空間非局所作用素を提案する。
自律運転における画像分類データセットとセマンティックセグメンテーションタスクのベンチマーク上で,提案したニューラルネットワークの有効性を検証した。
論文 参考訳(メタデータ) (2021-08-05T08:03:01Z) - Deep Kronecker neural networks: A general framework for neural networks
with adaptive activation functions [4.932130498861987]
我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。
適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
論文 参考訳(メタデータ) (2021-05-20T04:54:57Z) - Conceptual capacity and effective complexity of neural networks [0.7734726150561086]
本稿では,異なる入力からの接空間の集合の多様性に基づくニューラルネットワークマッピング関数の複雑度測定法を提案する。
各接空間を線形pac概念として扱うために、ネットワークの概念的容量を推定するために、概念束のエントロピーに基づく測度を用いる。
論文 参考訳(メタデータ) (2021-03-13T04:32:59Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。