論文の概要: Graph Structure of Neural Networks

• arxiv url: http://arxiv.org/abs/2007.06559v2
• Date: Thu, 27 Aug 2020 17:58:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 22:39:19.335807
• Title: Graph Structure of Neural Networks
• Title（参考訳）: ニューラルネットワークのグラフ構造
• Authors: Jiaxuan You, Jure Leskovec, Kaiming He, Saining Xie
• Abstract要約: ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
• 参考スコア（独自算出の注目度）: 104.33754950606298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are often represented as graphs of connections between neurons. However, despite their wide use, there is currently little understanding of the relationship between the graph structure of the neural network and its predictive performance. Here we systematically investigate how does the graph structure of neural networks affect their predictive performance. To this end, we develop a novel graph-based representation of neural networks called relational graph, where layers of neural network computation correspond to rounds of message exchange along the graph structure. Using this representation we show that: (1) a "sweet spot" of relational graphs leads to neural networks with significantly improved predictive performance; (2) neural network's performance is approximately a smooth function of the clustering coefficient and average path length of its relational graph; (3) our findings are consistent across many different tasks and datasets; (4) the sweet spot can be identified efficiently; (5) top-performing neural networks have graph structure surprisingly similar to those of real biological neural networks. Our work opens new directions for the design of neural architectures and the understanding on neural networks in general.
• Abstract（参考訳）: ニューラルネットワークは、しばしばニューロン間の接続のグラフとして表現される。 しかし、広く使われているにもかかわらず、現在、ニューラルネットワークのグラフ構造と予測性能の関係についてはほとんど理解されていない。 本稿では,ニューラルネットワークのグラフ構造が予測性能に与える影響を系統的に検討する。 この目的のために、ニューラルネットワークの計算層がグラフ構造に沿ったメッセージ交換のラウンドに対応する関係グラフと呼ばれる、新しいグラフベースのニューラルネットワーク表現を開発する。 Using this representation we show that: (1) a "sweet spot" of relational graphs leads to neural networks with significantly improved predictive performance; (2) neural network's performance is approximately a smooth function of the clustering coefficient and average path length of its relational graph; (3) our findings are consistent across many different tasks and datasets; (4) the sweet spot can be identified efficiently; (5) top-performing neural networks have graph structure surprisingly similar to those of real biological neural networks. 我々の研究は、ニューラルネットワークの設計と一般にニューラルネットワークを理解するための新しい方向性を開く。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• GNN-LoFI: a Novel Graph Neural Network through Localized Feature-based Histogram Intersection [51.608147732998994]
  グラフニューラルネットワークは、グラフベースの機械学習の選択フレームワークになりつつある。 本稿では,古典的メッセージパッシングに代えて,ノード特徴の局所分布を解析するグラフニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-01-17T13:04:23Z)
• A Survey on Graph Classification and Link Prediction based on GNN [11.614366568937761]
  本稿では,グラフ畳み込みニューラルネットワークの世界について述べる。 グラフ畳み込みニューラルネットワークの基礎を詳述する。 注意機構とオートエンコーダに基づいて、グラフニューラルネットワークモデルを解明する。
  論文  参考訳（メタデータ） (2023-07-03T09:08:01Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Knowledge Enhanced Graph Neural Networks for Graph Completion [0.0]
  Knowledge Enhanced Graph Neural Networks (KeGNN)は、グラフ補完のためのニューラルシンボリックなフレームワークである。 KeGNNは、知識強化レイヤを積み重ねた基盤としてグラフニューラルネットワークで構成されている。 我々はKeGNNを、最先端のグラフニューラルネットワーク、グラフ畳み込みネットワーク、グラフ注意ネットワークの2つと組み合わせてインスタンス化する。
  論文  参考訳（メタデータ） (2023-03-27T07:53:43Z)
• Graph Neural Operators for Classification of Spatial Transcriptomics Data [1.408706290287121]
  マウス脳組織サンプルにおける脳領域の予測に対する神経オペレーターの適用の有効性を検証するために,様々なグラフニューラルネットワークアプローチを取り入れた研究を提案する。 グラフニューラルネットワークのアプローチでは,F1スコアが72%近く向上し,すべてのベースラインやグラフネットワークのアプローチを上回った。
  論文  参考訳（メタデータ） (2023-02-01T18:32:06Z)
• Neuro-symbolic computing with spiking neural networks [0.6035125735474387]
  我々は、スパイクベースのグラフアルゴリズムに関するこれまでの研究を、スパイクニューロンを用いてシンボリックおよびマルチリレーショナル情報をエンコードする方法を実証することによって拡張した。 導入されたフレームワークは、グラフ埋め込みパラダイムと、エラーバックプロパゲーションを用いたスパイクニューラルネットワークのトレーニングの最近の進歩を組み合わせることで実現されている。
  論文  参考訳（メタデータ） (2022-08-04T10:49:34Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Generalizable Machine Learning in Neuroscience using Graph Neural Networks [0.0]
  ニューラルネットワークは、ニューロンレベルの動的予測と行動状態の分類の両方において、非常によく機能することを示す。 実験の結果, グラフニューラルネットワークは構造モデルよりも優れ, 目に見えない生物の一般化に優れていた。
  論文  参考訳（メタデータ） (2020-10-16T18:09:46Z)
• Analyzing Neural Networks Based on Random Graphs [77.34726150561087]
  様々なタイプのランダムグラフに対応するアーキテクチャを用いて,ニューラルネットワークの大規模評価を行う。 古典的な数値グラフ不変量は、それ自体が最良のネットワークを選び出すことができない。 また、主に短距離接続を持つネットワークは、多くの長距離接続が可能なネットワークよりも性能が良いことも見出した。
  論文  参考訳（メタデータ） (2020-02-19T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。