論文の概要: Transfer Entropy in Graph Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2406.06632v1
• Date: Sat, 8 Jun 2024 20:09:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 20:54:41.191793
• Title: Transfer Entropy in Graph Convolutional Neural Networks
• Title（参考訳）: グラフ畳み込みニューラルネットワークにおける転送エントロピー
• Authors: Adrian Moldovan, Angel Caţaron, Răzvan Andonie,
• Abstract要約: グラフ畳み込みネットワーク(Graph Convolutional Networks、GCN)は、グラフ上に畳み込みを適用するグラフニューラルネットワークである。 本研究は,GCNに関する2つの重要な課題に対処する。 オーバースムーシング(Oversmoothing)とは、繰り返しの集約の結果、ノードの識別能力が低下することである。 本稿では,2つの時間変化ノード間の情報転送量を測定するTransfer Entropy (TE) に基づくGCNにおけるこれらの課題に対処するための新しい戦略を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Convolutional Networks (GCN) are Graph Neural Networks where the convolutions are applied over a graph. In contrast to Convolutional Neural Networks, GCN's are designed to perform inference on graphs, where the number of nodes can vary, and the nodes are unordered. In this study, we address two important challenges related to GCNs: i) oversmoothing; and ii) the utilization of node relational properties (i.e., heterophily and homophily). Oversmoothing is the degradation of the discriminative capacity of nodes as a result of repeated aggregations. Heterophily is the tendency for nodes of different classes to connect, whereas homophily is the tendency of similar nodes to connect. We propose a new strategy for addressing these challenges in GCNs based on Transfer Entropy (TE), which measures of the amount of directed transfer of information between two time varying nodes. Our findings indicate that using node heterophily and degree information as a node selection mechanism, along with feature-based TE calculations, enhances accuracy across various GCN models. Our model can be easily modified to improve classification accuracy of a GCN model. As a trade off, this performance boost comes with a significant computational overhead when the TE is computed for many graph nodes.
• Abstract（参考訳）: グラフ畳み込みネットワーク(Graph Convolutional Networks、GCN)は、グラフ上に畳み込みを適用するグラフニューラルネットワークである。 畳み込みニューラルネットワークとは対照的に、GCNはノード数が異なるグラフ上で推論を行うように設計されており、ノードの順序は変更されていない。 本稿では,GCNに関する2つの重要な課題に対処する。 i)過度にスムースすること、及び 二 ノード関係性(ヘテロフィリー及びホモフィリー)の利用 オーバースムーシング(Oversmoothing)とは、繰り返しの集約の結果、ノードの識別能力が低下することである。 ヘテロフィリーは異なるクラスのノードが接続する傾向にあり、ホモフィリーは類似したノードが接続する傾向にある。 本稿では,2つの時間変化ノード間の情報転送量を測定するTransfer Entropy (TE) に基づくGCNにおけるこれらの課題に対処するための新しい戦略を提案する。 この結果から,ノード選択機構としてノード不均一度と次数情報を用いることで,様々なGCNモデルの精度が向上することが示唆された。 このモデルはGCNモデルの分類精度を向上させるために容易に修正できる。 トレードオフとして、このパフォーマンス向上には、多くのグラフノードに対してTEが計算されるときに、大きな計算オーバーヘッドが伴う。

関連論文リスト

• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• GraphRARE: Reinforcement Learning Enhanced Graph Neural Network with Relative Entropy [21.553180564868306]
  GraphRAREはノード相対エントロピーと深層強化学習に基づいて構築されたフレームワークである。 革新的なノード相対エントロピーは、ノードペア間の相互情報を測定するために使用される。 グラフトポロジを最適化するために,深層強化学習に基づくアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-12-15T11:30:18Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Deformable Graph Convolutional Networks [12.857403315970231]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの表現能力を大幅に改善した。 本稿では,複数の潜在空間における畳み込みを適応的に行うDeformable Graph Convolutional Networks (Deformable GCNs)を提案する。 我々のフレームワークはノードの位置埋め込みを同時に学習し、ノード間の関係をエンドツーエンドで決定する。
  論文  参考訳（メタデータ） (2021-12-29T07:55:29Z)
• Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
  典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。 そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
  論文  参考訳（メタデータ） (2021-11-19T08:54:21Z)
• GBK-GNN: Gated Bi-Kernel Graph Neural Networks for Modeling Both Homophily and Heterophily [24.742449127169586]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフベースの機械学習タスクで広く使用されている。 ノードレベルのタスクでは、GNNはグラフのホモフィリーな性質をモデル化する強力な力を持つ。 両カーネルの特徴変換と選択ゲートに基づく新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-29T13:44:09Z)
• Graph Neural Networks with Learnable Structural and Positional Representations [83.24058411666483]
  任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。 ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。 両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
  論文  参考訳（メタデータ） (2021-10-15T05:59:15Z)
• Uniting Heterogeneity, Inductiveness, and Efficiency for Graph Representation Learning [68.97378785686723]
  グラフニューラルネットワーク(GNN)は,グラフ上のノード表現学習の性能を大幅に向上させた。 GNNの過半数クラスは均質グラフのためにのみ設計されており、より有益な異種グラフに劣る適応性をもたらす。 本稿では,低次ノードと高次ノードの両方のエッジに付随するヘテロジニアスなノード特徴をパッケージ化する,新しい帰納的メタパスフリーメッセージパッシング方式を提案する。
  論文  参考訳（メタデータ） (2021-04-04T23:31:39Z)
• Graph Highway Networks [77.38665506495553]
  グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。 彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。 本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-09T16:26:43Z)
• Unifying Graph Convolutional Neural Networks and Label Propagation [73.82013612939507]
  LPAとGCNの関係を特徴・ラベルの平滑化と特徴・ラベルの影響の2点の観点から検討した。 理論解析に基づいて,ノード分類のためのGCNとLCAを統一するエンドツーエンドモデルを提案する。 我々のモデルは、既存の特徴に基づく注目モデルよりもタスク指向のノードラベルに基づく学習注意重みと見なすこともできる。
  論文  参考訳（メタデータ） (2020-02-17T03:23:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。