論文の概要: Lower and Upper Bounds for Numbers of Linear Regions of Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2206.00228v1
• Date: Wed, 1 Jun 2022 04:32:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 04:10:02.681772
• Title: Lower and Upper Bounds for Numbers of Linear Regions of Graph Convolutional Networks
• Title（参考訳）: グラフ畳み込みネットワークの線形領域数に対する下限と上限
• Authors: Hao Chen, Yu Guang Wang, Huan Xiong
• Abstract要約: 線形領域の数は、断片的な線形活性化を伴うニューラルネットワークの表現率のよい指標と考えられている。 本稿では,従来のグラフ畳み込みネットワーク (GCN) の線形領域の数を1層,複数層シナリオで推定する。
• 参考スコア（独自算出の注目度）: 11.338307976409707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The research for characterizing GNN expressiveness attracts much attention as graph neural networks achieve a champion in the last five years. The number of linear regions has been considered a good measure for the expressivity of neural networks with piecewise linear activation. In this paper, we present some estimates for the number of linear regions of the classic graph convolutional networks (GCNs) with one layer and multiple-layer scenarios. In particular, we obtain an optimal upper bound for the maximum number of linear regions for one-layer GCNs, and the upper and lower bounds for multi-layer GCNs. The simulated estimate shows that the true maximum number of linear regions is possibly closer to our estimated lower bound. These results imply that the number of linear regions of multi-layer GCNs is exponentially greater than one-layer GCNs per parameter in general. This suggests that deeper GCNs have more expressivity than shallow GCNs.
• Abstract（参考訳）: GNN表現性を特徴づける研究は、グラフニューラルネットワークが過去5年間でチャンピオンとなるにつれ、多くの注目を集めている。 線形領域の数は、区分的な線形活性化を伴うニューラルネットワークの表現率のよい尺度とみなされている。 本稿では,従来のグラフ畳み込みネットワーク (GCN) の1層および複数層シナリオによる線形領域の数を推定する。 特に,一層GCNの線形領域の最大値と,多層GCNの上限値と下限値に最適な上限値を求める。 シミュレーションの結果, 線形領域の真の最大値は推定下界に近い可能性が示唆された。 これらの結果から,多層GCNの線形領域数は一般に1層GCNよりも指数関数的に多いことが示唆された。 これは、深いGCNは浅いGCNよりも表現性が高いことを示唆している。

関連論文リスト

• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• MGNNI: Multiscale Graph Neural Networks with Implicit Layers [53.75421430520501]
  暗黙グラフニューラルネットワーク(GNN)は、基礎となるグラフの長距離依存性をキャプチャするために提案されている。 暗黙的GNNの2つの弱点は、長距離依存を捉えるための限られた有効範囲による制約付き表現性と、複数の解像度でグラフ上のマルチスケール情報をキャプチャする能力の欠如である。 グラフ上のマルチスケール構造をモデル化できる暗黙の層(MGNNI)を持つマルチスケールグラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-15T18:18:55Z)
• On the Number of Regions of Piecewise Linear Neural Networks [16.78532039510369]
  多くのフィードフォワードニューラルネットワーク(NN)はCPWLマッピングを生成する。 これらのいわゆる線形領域の数は、CPWL NNの表現性を特徴付ける自然な計量を提供する。 本稿では,CPWL NN が生成する線形領域の平均数を推定する補完的フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-17T08:17:28Z)
• Dissecting the Diffusion Process in Linear Graph Convolutional Networks [71.30132908130581]
  近年、グラフ畳み込みネットワーク(GCN)が注目を集めています。 最近の研究は、線形GCNが元の非線形GCNに匹敵する性能が得られることを示している。 DGC(Decoupled Graph Convolution)を提案し,端末時間と機能伝播ステップを分離する。
  論文  参考訳（メタデータ） (2021-02-22T02:45:59Z)
• A General Computational Framework to Measure the Expressiveness of Complex Networks Using a Tighter Upper Bound of Linear Regions [13.030269373463168]
  整流器ネットワークによって分割される領域番号の上限は、数値自体の代わりに、DNNの表現力のより実用的な測定である。 我々は,任意のネットワーク構造に対して,新しい,より厳密なアップ・パー・バウンド領域番号を提案する。 私たちの実験では、上界が既存のものよりも密接であることを示し、スキップ接続と残余構造がネットワーク性能を改善する理由を説明します。
  論文  参考訳（メタデータ） (2020-12-08T14:01:20Z)
• Bounding The Number of Linear Regions in Local Area for Neural Networks with ReLU Activations [6.4817648240626005]
  本稿では,与えられたReLUニューラルネットワークの入力空間内の任意の球面における線形領域数の上界を推定する最初の手法を提案する。 実験の結果、ニューラルネットワークをトレーニングしている間、線形領域の境界はトレーニングデータポイントから離れる傾向にあることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T04:06:00Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)
• On the Number of Linear Regions of Convolutional Neural Networks [0.6206641883102021]
  深いCNNは浅いCNNよりも強力な表現性を持ち、一方CNNはパラメータごとに完全に接続されたNNよりも表現性が高い。 以上の結果から,より深いCNNは浅いCNNよりも強力な表現性を持ち,一方CNNはパラメータごとの完全接続NNよりも表現性が高いことが示唆された。
  論文  参考訳（メタデータ） (2020-06-01T14:38:05Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)
• Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes [144.6048446370369]
  グラフ畳み込みニューラルネットワーク(GCN)は近年,グラフに基づく半教師付き半教師付き分類において有望な結果を示した。 グラフに基づく半教師付き学習のためのGCN(GPGC)を用いたGP回帰モデルを提案する。 GPGCを評価するための広範囲な実験を行い、他の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-26T10:02:32Z)
• Empirical Studies on the Properties of Linear Regions in Deep Neural Networks [34.08593191989188]
  分割線形活性化を持つディープニューラルネットワーク(DNN)は、入力空間を多数の小さな線形領域に分割することができる。 これらの領域の数はDNNの表現力を表すと考えられている。 本研究では, 球面, 対応する超平面の方向, 決定境界, 周辺領域の関連性などの局所的性質について検討する。
  論文  参考訳（メタデータ） (2020-01-04T12:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。