論文の概要: Graph Convolutional Networks from the Perspective of Sheaves and the Neural Tangent Kernel

• arxiv url: http://arxiv.org/abs/2208.09309v1
• Date: Fri, 19 Aug 2022 12:46:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-22 17:22:58.394954
• Title: Graph Convolutional Networks from the Perspective of Sheaves and the Neural Tangent Kernel
• Title（参考訳）: シーブとニューラルタンジェントカーネルの観点からのグラフ畳み込みネットワーク
• Authors: Thomas Gebhart
• Abstract要約: グラフ畳み込みネットワークはディープニューラルネットワークアルゴリズムの一般的なクラスである。 その成功にもかかわらず、グラフ畳み込みネットワークには、過度に滑らかな関数やホモ親近性関数の学習へのバイアスなど、多くの特異な特徴がある。 せん断畳み込みネットワークのニューラル・タンジェント・カーネルの研究により,このギャップを埋めることを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph convolutional networks are a popular class of deep neural network algorithms which have shown success in a number of relational learning tasks. Despite their success, graph convolutional networks exhibit a number of peculiar features, including a bias towards learning oversmoothed and homophilic functions, which are not easily diagnosed due to the complex nature of these algorithms. We propose to bridge this gap in understanding by studying the neural tangent kernel of sheaf convolutional networks--a topological generalization of graph convolutional networks. To this end, we derive a parameterization of the neural tangent kernel for sheaf convolutional networks which separates the function into two parts: one driven by a forward diffusion process determined by the graph, and the other determined by the composite effect of nodes' activations on the output layer. This geometrically-focused derivation produces a number of immediate insights which we discuss in detail.
• Abstract（参考訳）: グラフ畳み込みネットワークは、多くの関係学習タスクで成功したディープニューラルネットワークアルゴリズムの一般的なクラスである。 その成功にもかかわらず、グラフ畳み込みネットワークは、これらのアルゴリズムの複雑な性質のために容易には診断できない、過度に滑らかな関数やホモフィル関数の学習へのバイアスを含む、多くの特異な特徴を示す。 グラフ畳み込みネットワークの位相的一般化である層畳み込みネットワークの神経接核を研究することにより,この理解のギャップを埋めることを提案する。 この目的のために、関数をグラフによって決定される前方拡散過程と、出力層へのノードのアクティベーションの複合効果によって決定される2つの部分に分割する層畳み込みネットワークのための神経接核のパラメータ化を導出する。 この幾何学的に焦点を絞った導出は、我々が詳細に論じる直近の洞察を生み出す。

関連論文リスト

• Emergence of Globally Attracting Fixed Points in Deep Neural Networks With Nonlinear Activations [24.052411316664017]
  本稿では、2つの異なる入力に対して隠された表現の類似性を計測するカーネルシーケンスの進化に関する理論的枠組みを提案する。 非線形アクティベーションに対しては、カーネルシーケンスは、アクティベーションとネットワークアーキテクチャに依存する同様の表現に対応可能な、一意の固定点にグローバルに収束する。 この研究は、ディープニューラルネットワークの暗黙のバイアスと、アーキテクチャ上の選択が層間の表現の進化にどのように影響するかについて、新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-26T07:10:47Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Understanding Convolutional Neural Networks from Theoretical Perspective via Volterra Convolution [22.058311878382142]
  本研究では,畳み込みニューラルネットワークと有限Volterra畳み込みの関係について検討する。 複雑なネットワークアーキテクチャに邪魔されることなく、ニューラルネットワークの全体的な特性を説明し、研究するための新しいアプローチを提供する。
  論文  参考訳（メタデータ） (2021-10-19T12:07:46Z)
• Deep Learning Chromatic and Clique Numbers of Graphs [0.0]
  我々は,グラフの色数と最大斜めサイズを予測するためのディープラーニングモデルを開発した。 特に,深層ニューラルネットワーク,特に畳み込みニューラルネットワークは,この問題に対して高い性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-08-04T02:02:53Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Graph Structure of Neural Networks [104.33754950606298]
  ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
  論文  参考訳（メタデータ） (2020-07-13T17:59:31Z)
• Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
  我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。 グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF) 完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
  論文  参考訳（メタデータ） (2020-04-06T13:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。