論文の概要: Convolutional Neural Network Dynamics: A Graph Perspective

• arxiv url: http://arxiv.org/abs/2111.05410v1
• Date: Tue, 9 Nov 2021 20:38:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-12 02:03:11.874857
• Title: Convolutional Neural Network Dynamics: A Graph Perspective
• Title（参考訳）: 畳み込みニューラルネットワークのダイナミクス:グラフの視点から
• Authors: Fatemeh Vahedian, Ruiyu Li, Puja Trivedi, Di Jin, Danai Koutra
• Abstract要約: 本稿では,NNのグラフ構造と性能の関係について検討する。 NNの動的グラフ表現について、完全連結層と畳み込み層の構造表現について検討する。 解析により, NNの性能を正確に予測するために, グラフ統計の簡単な要約を用いることができることがわかった。
• 参考スコア（独自算出の注目度）: 39.81881710355496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of neural networks (NNs) in a wide range of applications has led to increased interest in understanding the underlying learning dynamics of these models. In this paper, we go beyond mere descriptions of the learning dynamics by taking a graph perspective and investigating the relationship between the graph structure of NNs and their performance. Specifically, we propose (1) representing the neural network learning process as a time-evolving graph (i.e., a series of static graph snapshots over epochs), (2) capturing the structural changes of the NN during the training phase in a simple temporal summary, and (3) leveraging the structural summary to predict the accuracy of the underlying NN in a classification or regression task. For the dynamic graph representation of NNs, we explore structural representations for fully-connected and convolutional layers, which are key components of powerful NN models. Our analysis shows that a simple summary of graph statistics, such as weighted degree and eigenvector centrality, over just a few epochs can be used to accurately predict the performance of NNs. For example, a weighted degree-based summary of the time-evolving graph that is constructed based on 5 training epochs of the LeNet architecture achieves classification accuracy of over 93%. Our findings are consistent for different NN architectures, including LeNet, VGG, AlexNet and ResNet.
• Abstract（参考訳）: 幅広いアプリケーションにおけるニューラルネットワーク(NN)の成功により、これらのモデルの基盤となる学習力学を理解することへの関心が高まっている。 本稿では,グラフの観点からnnsのグラフ構造とその性能との関係を調べることにより,学習ダイナミクスの単なる説明にとどまらない。 具体的には、(1)ニューラルネットワーク学習過程を時間進化グラフ(すなわち、エポック上の一連の静的グラフスナップショット)として表現し、(2)トレーニングフェーズ中のNNの構造変化を簡単な時間的要約で捉え、(3)構造的要約を利用して、下位NNの分類や回帰タスクにおける精度を予測する。 NNの動的グラフ表現については,強力なNNモデルの鍵となる完全連結層と畳み込み層の構造表現について検討する。 解析の結果,重み付け度や固有ベクトル中心性といったグラフ統計の単純な要約は,NNの性能を正確に予測するために,ほんの少しのエポックしか利用できないことがわかった。 例えば、LeNetアーキテクチャの5つのトレーニングエポックに基づいて構築された時間進化グラフの重み付け次数に基づく要約は、93%以上の分類精度を達成する。 私たちの発見は、LeNet、VGG、AlexNet、ResNetなど、さまざまなNNアーキテクチャに一貫性があります。

関連論文リスト

• A survey of dynamic graph neural networks [26.162035361191805]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから効果的にマイニングし学習するための強力なツールとして登場した。 本稿では,基本的な概念,鍵となる技術,そして最先端の動的GNNモデルについて概観する。
  論文  参考訳（メタデータ） (2024-04-28T15:07:48Z)
• DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations [62.04558318166396]
  グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。 ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。 複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
  論文  参考訳（メタデータ） (2024-01-28T06:43:13Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Semantic Graph Neural Network with Multi-measure Learning for Semi-supervised Classification [5.000404730573809]
  近年,グラフニューラルネットワーク(GNN)が注目されている。 近年の研究では、GNNはグラフの複雑な基盤構造に弱いことが示されている。 半教師付き分類のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-04T06:17:11Z)
• Graph-Time Convolutional Neural Networks: Architecture and Theoretical Analysis [12.995632804090198]
  グラフ時間畳み込みニューラルネットワーク(GTCNN)を学習支援の原則アーキテクチャとして導入する。 このアプローチはどんな種類のプロダクトグラフでも機能し、パラメトリックグラフを導入して、プロダクトの時間的結合も学べます。 GTCNNが最先端のソリューションと好意的に比較できることを示す。
  論文  参考訳（メタデータ） (2022-06-30T10:20:52Z)
• Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization in Graph Learning [9.88508686848173]
  内在的なダイナミクスを持つ生物学的スパイキングニューロンは、脳の強力な表現力と学習能力を持つ。 ユークリッド空間タスクを処理するためのスパイクニューラルネットワーク(SNN)の最近の進歩にもかかわらず、非ユークリッド空間データの処理においてSNNを活用することは依然として困難である。 本稿では,グラフ学習のためのSNNの直接学習を可能にする,一般的なスパイクに基づくモデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:20:16Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Graph Structure of Neural Networks [104.33754950606298]
  ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
  論文  参考訳（メタデータ） (2020-07-13T17:59:31Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。