論文の概要: Graph Structure of Neural Networks

• arxiv url: http://arxiv.org/abs/2007.06559v2
• Date: Thu, 27 Aug 2020 17:58:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 22:39:19.335807
• Title: Graph Structure of Neural Networks
• Title（参考訳）: ニューラルネットワークのグラフ構造
• Authors: Jiaxuan You, Jure Leskovec, Kaiming He, Saining Xie
• Abstract要約: ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
• 参考スコア（独自算出の注目度）: 104.33754950606298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are often represented as graphs of connections between neurons. However, despite their wide use, there is currently little understanding of the relationship between the graph structure of the neural network and its predictive performance. Here we systematically investigate how does the graph structure of neural networks affect their predictive performance. To this end, we develop a novel graph-based representation of neural networks called relational graph, where layers of neural network computation correspond to rounds of message exchange along the graph structure. Using this representation we show that: (1) a "sweet spot" of relational graphs leads to neural networks with significantly improved predictive performance; (2) neural network's performance is approximately a smooth function of the clustering coefficient and average path length of its relational graph; (3) our findings are consistent across many different tasks and datasets; (4) the sweet spot can be identified efficiently; (5) top-performing neural networks have graph structure surprisingly similar to those of real biological neural networks. Our work opens new directions for the design of neural architectures and the understanding on neural networks in general.
• Abstract（参考訳）: ニューラルネットワークは、しばしばニューロン間の接続のグラフとして表現される。 しかし、広く使われているにもかかわらず、現在、ニューラルネットワークのグラフ構造と予測性能の関係についてはほとんど理解されていない。 本稿では,ニューラルネットワークのグラフ構造が予測性能に与える影響を系統的に検討する。 この目的のために、ニューラルネットワークの計算層がグラフ構造に沿ったメッセージ交換のラウンドに対応する関係グラフと呼ばれる、新しいグラフベースのニューラルネットワーク表現を開発する。 Using this representation we show that: (1) a "sweet spot" of relational graphs leads to neural networks with significantly improved predictive performance; (2) neural network's performance is approximately a smooth function of the clustering coefficient and average path length of its relational graph; (3) our findings are consistent across many different tasks and datasets; (4) the sweet spot can be identified efficiently; (5) top-performing neural networks have graph structure surprisingly similar to those of real biological neural networks. 我々の研究は、ニューラルネットワークの設計と一般にニューラルネットワークを理解するための新しい方向性を開く。

関連論文リスト

• Knowledge Enhanced Graph Neural Networks [0.0]
  本稿では,グラフデータ学習のための神経シンボルフレームワークであるKeGNNを提案する。 KeGNNは両方のパラダイムを組み合わせて、事前知識をグラフニューラルネットワークモデルに統合することを可能にする。 我々は、KeGNNとグラフ畳み込みネットワーク(Graph Convolutional Networks)とグラフ注意ネットワーク(Graph Attention Networks)の2つの標準グラフニューラルネットワークを同時にインスタンス化する。
  論文  参考訳（メタデータ） (2023-03-27T07:53:43Z)
• Graph Neural Operators for Classification of Spatial Transcriptomics Data [1.408706290287121]
  マウス脳組織サンプルにおける脳領域の予測に対する神経オペレーターの適用の有効性を検証するために,様々なグラフニューラルネットワークアプローチを取り入れた研究を提案する。 グラフニューラルネットワークのアプローチでは,F1スコアが72%近く向上し,すべてのベースラインやグラフネットワークのアプローチを上回った。
  論文  参考訳（メタデータ） (2023-02-01T18:32:06Z)
• Neuro-symbolic computing with spiking neural networks [0.6035125735474387]
  我々は、スパイクベースのグラフアルゴリズムに関するこれまでの研究を、スパイクニューロンを用いてシンボリックおよびマルチリレーショナル情報をエンコードする方法を実証することによって拡張した。 導入されたフレームワークは、グラフ埋め込みパラダイムと、エラーバックプロパゲーションを用いたスパイクニューラルネットワークのトレーニングの最近の進歩を組み合わせることで実現されている。
  論文  参考訳（メタデータ） (2022-08-04T10:49:34Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Learning through structure: towards deep neuromorphic knowledge graph embeddings [0.5906031288935515]
  本稿では,知識グラフ推論のための深層グラフ学習アーキテクチャをニューロモルフィックアーキテクチャにマッピングする戦略を提案する。 ランダムかつ未学習のグラフニューラルネットワークが局所的なグラフ構造を保存することができるという知見に基づいて、凍結したニューラルネットワークの浅い知識グラフ埋め込みモデルを構成する。 我々は,従来型のハードウェア上では,性能水準を維持しながら,高速化とメモリの大幅な削減を実現していることを示す。
  論文  参考訳（メタデータ） (2021-09-21T18:01:04Z)
• Generalizable Machine Learning in Neuroscience using Graph Neural Networks [0.0]
  ニューラルネットワークは、ニューロンレベルの動的予測と行動状態の分類の両方において、非常によく機能することを示す。 実験の結果, グラフニューラルネットワークは構造モデルよりも優れ, 目に見えない生物の一般化に優れていた。
  論文  参考訳（メタデータ） (2020-10-16T18:09:46Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Analyzing Neural Networks Based on Random Graphs [77.34726150561087]
  様々なタイプのランダムグラフに対応するアーキテクチャを用いて,ニューラルネットワークの大規模評価を行う。 古典的な数値グラフ不変量は、それ自体が最良のネットワークを選び出すことができない。 また、主に短距離接続を持つネットワークは、多くの長距離接続が可能なネットワークよりも性能が良いことも見出した。
  論文  参考訳（メタデータ） (2020-02-19T11:04:49Z)
• Understanding Graph Isomorphism Network for rs-fMRI Functional Connectivity Analysis [49.05541693243502]
  グラフ同型ネットワーク(GIN)を用いてfMRIデータを解析するフレームワークを開発する。 本稿では,GINがグラフ空間における畳み込みニューラルネットワーク(CNN)の二重表現であることを示す。 我々は,提案したGINをワンホット符号化で調整するGNNに対して,CNNベースのサリエンシマップ技術を利用する。
  論文  参考訳（メタデータ） (2020-01-10T23:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。