論文の概要: Complexity of Feed-Forward Neural Networks from the Perspective of
Functional Equivalence
- arxiv url: http://arxiv.org/abs/2305.11417v1
- Date: Fri, 19 May 2023 04:01:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 16:22:25.207946
- Title: Complexity of Feed-Forward Neural Networks from the Perspective of
Functional Equivalence
- Title（参考訳）: 関数同値の観点から見たフィードフォワードニューラルネットワークの複雑性
- Authors: Guohao Shen
- Abstract要約: 本稿では,機能的等価性の概念を考察し,フィードフォワードニューラルネットワークの複雑さについて検討する。
我々は、置換不変性を利用して、フィードフォワードニューラルネットワークのクラスに束縛された新しい被覆数を導出する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we investigate the complexity of feed-forward neural networks
by examining the concept of functional equivalence, which suggests that
different network parameterizations can lead to the same function. We utilize
the permutation invariance property to derive a novel covering number bound for
the class of feedforward neural networks, which reveals that the complexity of
a neural network can be reduced by exploiting this property. Furthermore, based
on the symmetric structure of parameter space, we demonstrate that an
appropriate strategy of random parameter initialization can increase the
probability of convergence for optimization. We found that overparameterized
networks tend to be easier to train in the sense that increasing the width of
neural networks leads to a vanishing volume of the effective parameter space.
Our findings offer new insights into overparameterization and have significant
implications for understanding generalization and optimization in deep
learning.
- Abstract（参考訳）: 本稿では,機能的等価性の概念を考察することにより,フィードフォワードニューラルネットワークの複雑さを考察し,異なるネットワークパラメータ化が同じ機能をもたらすことを示唆する。
この特性を利用してニューラルネットワークの複雑性を低減できることを示すフィードフォワードニューラルネットワークのクラスにバインドされた新しいカバー番号を導出するために、置換不変性を利用する。
さらに、パラメータ空間の対称構造に基づいて、ランダムパラメータ初期化の適切な戦略が最適化のための収束確率を増加させることを実証する。
過パラメータ化ネットワークは、ニューラルネットワークの幅が大きくなると、有効パラメータ空間の容量が消滅するという意味で、訓練がより容易であることがわかった。
今回の知見は,過剰パラメータ化に対する新たな洞察を提供し,ディープラーニングの一般化と最適化を理解する上で重要な意味を持つ。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Deeper or Wider: A Perspective from Optimal Generalization Error with Sobolev Loss [2.07180164747172]
より深いニューラルネットワーク(DeNN)と、柔軟な数のレイヤと、限られた隠れたレイヤを持つより広いニューラルネットワーク(WeNN)を比較します。
より多くのパラメータがWeNNを好む傾向にあるのに対し、サンプルポイントの増加と損失関数の規則性の向上は、DeNNの採用に傾いている。
論文 参考訳（メタデータ） (2024-01-31T20:10:10Z) - Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。
本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文 参考訳（メタデータ） (2023-03-05T17:57:33Z) - Deepening Neural Networks Implicitly and Locally via Recurrent Attention
Strategy [6.39424542887036]
リカレントアテンション戦略は、局所パラメータ共有により、軽量アテンションモジュールによるニューラルネットワークの深さを暗黙的に増加させる。
広く使用されている3つのベンチマークデータセットの実験は、RASがパラメータサイズと計算をわずかに増やすことで、ニューラルネットワークのパフォーマンスを向上させることを実証している。
論文 参考訳（メタデータ） (2022-10-27T13:09:02Z) - On the Approximation and Complexity of Deep Neural Networks to Invariant
Functions [0.0]
深部ニューラルネットワークの不変関数への近似と複雑性について検討する。
様々なタイプのニューラルネットワークモデルにより、幅広い不変関数を近似できることを示す。
我々は,高分解能信号のパラメータ推定と予測を理論的結論と結びつけることが可能なアプリケーションを提案する。
論文 参考訳（メタデータ） (2022-10-27T09:19:19Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Towards Understanding Theoretical Advantages of Complex-Reaction
Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。
経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文 参考訳（メタデータ） (2021-08-15T10:13:49Z) - Conceptual capacity and effective complexity of neural networks [0.7734726150561086]
本稿では,異なる入力からの接空間の集合の多様性に基づくニューラルネットワークマッピング関数の複雑度測定法を提案する。
各接空間を線形pac概念として扱うために、ネットワークの概念的容量を推定するために、概念束のエントロピーに基づく測度を用いる。
論文 参考訳（メタデータ） (2021-03-13T04:32:59Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳（メタデータ） (2020-02-23T13:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。