論文の概要: A General Computational Framework to Measure the Expressiveness of
Complex Networks Using a Tighter Upper Bound of Linear Regions
- arxiv url: http://arxiv.org/abs/2012.04428v1
- Date: Tue, 8 Dec 2020 14:01:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-17 06:14:17.101817
- Title: A General Computational Framework to Measure the Expressiveness of
Complex Networks Using a Tighter Upper Bound of Linear Regions
- Title（参考訳）: 線形領域のより強固な上界を用いた複素ネットワークの表現性測定のための汎用計算枠組み
- Authors: Yutong Xie, Gaoxiang Chen and Quanzheng Li
- Abstract要約: 整流器ネットワークによって分割される領域番号の上限は、数値自体の代わりに、DNNの表現力のより実用的な測定である。
我々は,任意のネットワーク構造に対して,新しい,より厳密なアップ・パー・バウンド領域番号を提案する。
私たちの実験では、上界が既存のものよりも密接であることを示し、スキップ接続と残余構造がネットワーク性能を改善する理由を説明します。
- 参考スコア（独自算出の注目度）: 13.030269373463168
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The expressiveness of deep neural network (DNN) is a perspective to
understandthe surprising performance of DNN. The number of linear regions, i.e.
pieces thata piece-wise-linear function represented by a DNN, is generally used
to measurethe expressiveness. And the upper bound of regions number partitioned
by a rec-tifier network, instead of the number itself, is a more practical
measurement ofexpressiveness of a rectifier DNN. In this work, we propose a new
and tighter up-per bound of regions number. Inspired by the proof of this upper
bound and theframework of matrix computation in Hinz & Van de Geer (2019), we
propose ageneral computational approach to compute a tight upper bound of
regions numberfor theoretically any network structures (e.g. DNN with all kind
of skip connec-tions and residual structures). Our experiments show our upper
bound is tighterthan existing ones, and explain why skip connections and
residual structures canimprove network performance.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)の表現力は、DNNの驚くべき性能を理解するための視点である。
線型領域の数、すなわち
dnnで表される分割線形関数は、一般に表現性を測定するために用いられる。
また、再整流器ネットワークによって分割された領域数の上界は、その数自身ではなく、整流器DNNの表現性のより実用的な測定である。
そこで本研究では,領域数に対してより厳密なアップパーバウンドを新たに提案する。
hinz & van de geer (2019) におけるこの上界の証明と行列計算の枠組みに着想を得て、理論上任意のネットワーク構造(例えば、ネットワーク構造)に対して、領域の狭い上界を計算するための一般的な計算手法を提案する。
あらゆる種類のスキップ・コンネクションと残留構造を持つdnn)。
私たちの実験では、上界が既存のものよりも密接であることを示し、スキップ接続と残余構造がネットワーク性能を改善できる理由を説明します。
関連論文リスト
- Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証の最も効果的な方法の一つである。
我々は、一般的な計算グラフにおける一般的な非線形性に対してBaBを実行するための一般的なフレームワークGenBaBを開発した。
我々は、Sigmoid、Tanh、Sine、GeLUなどの活性化機能を持つネットワークを含む幅広いNNの検証におけるGenBaBの有効性を実証する。
論文 参考訳（メタデータ） (2024-05-31T17:51:07Z) - On Generalization Bounds for Deep Compound Gaussian Neural Networks [1.4425878137951238]
Unrolled Deep Neural Network(DNN)は、標準的なDNNよりも優れた解釈性と優れた経験的パフォーマンスを提供する。
本稿では,複合ガウス事前情報に基づく非学習型DNNのクラスに対する新しい一般化誤差境界を開発する。
現実的な条件下では、最悪の場合、一般化誤差は信号次元で$mathcalO(nsqrt(n))$、ネットワークサイズで$mathcalO(($Network Size$)3/2)$である。
論文 参考訳（メタデータ） (2024-02-20T16:01:39Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳（メタデータ） (2023-01-01T02:11:39Z) - Tangent Bundle Filters and Neural Networks: from Manifolds to Cellular
Sheaves and Back [114.01902073621577]
畳み込みを用いて、タンジェントバンドルフィルタとタンジェントバンドルニューラルネットワーク(TNN)を定義する。
我々は、TNNを時間領域と空間領域の両方で識別し、その離散性は、最近導入されたSheaf Neural Networksの原則的な変種であることを示す。
単体2次元球面上の接ベクトル場の復調作業における提案手法の有効性を数値的に評価する。
論文 参考訳（メタデータ） (2022-10-26T21:55:45Z) - On the Number of Regions of Piecewise Linear Neural Networks [16.78532039510369]
多くのフィードフォワードニューラルネットワーク(NN)はCPWLマッピングを生成する。
これらのいわゆる線形領域の数は、CPWL NNの表現性を特徴付ける自然な計量を提供する。
本稿では,CPWL NN が生成する線形領域の平均数を推定する補完的フレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-17T08:17:28Z) - Lower and Upper Bounds for Numbers of Linear Regions of Graph
Convolutional Networks [11.338307976409707]
線形領域の数は、断片的な線形活性化を伴うニューラルネットワークの表現率のよい指標と考えられている。
本稿では,従来のグラフ畳み込みネットワーク (GCN) の線形領域の数を1層,複数層シナリオで推定する。
論文 参考訳（メタデータ） (2022-06-01T04:32:23Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Counting Substructures with Higher-Order Graph Neural Networks:
Possibility and Impossibility Results [58.277290855841976]
グラフニューラルネットワーク(GNN)の計算コストと表現力のトレードオフについて検討する。
新しいモデルでは、$k$のサブグラフをカウントでき、低次GNNの既知の制限を克服できることを示す。
いくつかの場合において、提案アルゴリズムは既存の高階$k$-GNNに比べて計算量を大幅に削減することができる。
論文 参考訳（メタデータ） (2020-12-06T03:42:54Z) - Bounding The Number of Linear Regions in Local Area for Neural Networks
with ReLU Activations [6.4817648240626005]
本稿では,与えられたReLUニューラルネットワークの入力空間内の任意の球面における線形領域数の上界を推定する最初の手法を提案する。
実験の結果、ニューラルネットワークをトレーニングしている間、線形領域の境界はトレーニングデータポイントから離れる傾向にあることがわかった。
論文 参考訳（メタデータ） (2020-07-14T04:06:00Z) - On the Number of Linear Regions of Convolutional Neural Networks [0.6206641883102021]
深いCNNは浅いCNNよりも強力な表現性を持ち、一方CNNはパラメータごとに完全に接続されたNNよりも表現性が高い。
以上の結果から,より深いCNNは浅いCNNよりも強力な表現性を持ち,一方CNNはパラメータごとの完全接続NNよりも表現性が高いことが示唆された。
論文 参考訳（メタデータ） (2020-06-01T14:38:05Z) - EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。
EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。
これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
論文 参考訳（メタデータ） (2020-01-21T15:51:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。