論文の概要: Unifying Label-inputted Graph Neural Networks with Deep Equilibrium Models

• arxiv url: http://arxiv.org/abs/2211.10629v2
• Date: Wed, 31 May 2023 02:04:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 04:01:50.974935
• Title: Unifying Label-inputted Graph Neural Networks with Deep Equilibrium Models
• Title（参考訳）: 深い平衡モデルを用いたラベル入力グラフニューラルネットワークの統一化
• Authors: Yi Luo, Guiduo Duan, Guangchun Luo, Aiguo Chen
• Abstract要約: この研究は、LGNNをインプリシットGNN(IGNN)理論で解釈することで、2つのグラフニューラルネットワーク(GNN)を統一する。 IGNNはグラフ全体の情報を利用して長距離依存を捕捉するが、そのネットワークは平衡の存在を保証するよう制約されている。 本研究では、IGNNの暗黙的な微分を導入し、その無限範囲ラベル伝搬定数メモリを区別し、伝播を遠方かつ適応的にする。
• 参考スコア（独自算出の注目度）: 12.71307159013144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of Graph Neural Networks (GNN) in learning on non-Euclidean data arouses many subtopics, such as Label-inputted GNN (LGNN) and Implicit GNN (IGNN). LGNN, explicitly inputting supervising information (a.k.a. labels) in GNN, integrates label propagation to achieve superior performance, but with the dilemma between its propagating distance and adaptiveness. IGNN, outputting an equilibrium point by iterating its network infinite times, exploits information in the entire graph to capture long-range dependencies, but with its network constrained to guarantee the existence of the equilibrium. This work unifies the two subdomains by interpreting LGNN in the theory of IGNN and reducing prevailing LGNNs to the form of IGNN. The unification facilitates the exchange between the two subdomains and inspires more studies. Specifically, implicit differentiation of IGNN is introduced to LGNN to differentiate its infinite-range label propagation with constant memory, making the propagation both distant and adaptive. Besides, the masked label strategy of LGNN is proven able to guarantee the well-posedness of IGNN in a network-agnostic manner, granting its network more complex and thus more expressive. Combining the advantages of LGNN and IGNN, Label-inputted Implicit GNN (LI-GNN) is proposed. It can be widely applied to any specific GNN to boost its performance. Node classification experiments on two synthesized and six real-world datasets demonstrate its effectiveness. Code is available at https://github.com/cf020031308/LI-GNN
• Abstract（参考訳）: 非ユークリッドデータの学習におけるグラフニューラルネットワーク(GNN)の成功は、ラベル入力GNN(LGNN)やインプリシットGNN(IGNN)など、多くのサブトピックを喚起する。 GNNに監督情報(ラベル)を明示的に入力するLGNNは、ラベル伝搬を統合して優れた性能を得るが、その伝播距離と適応性の間にジレンマがある。 IGNNはネットワークを無限回繰り返すことで平衡点を出力し、グラフ全体の情報を利用して長距離依存を捕捉するが、ネットワークは平衡の存在を保証するために制約される。 この研究は、IGNNの理論においてLGNNを解釈し、一般的なLGNNをIGNNの形式に還元することで、2つのサブドメインを統一する。 この統一は2つのサブドメイン間の交換を促進し、さらなる研究を促す。 具体的には、IGNNの暗黙的な分化がLGNNに導入され、その無限範囲ラベルの伝播を一定のメモリで区別し、その伝播を遠方かつ適応的にする。 さらに、LGNNのマスク付きラベル戦略は、IGNNのネットワーク非依存性を保証し、ネットワークをより複雑化し、表現力を高めることが証明されている。 LGNNとIGNNの利点を組み合わせることで、ラベル入力型インプリシットGNN(LI-GNN)を提案する。 パフォーマンスを高めるため、特定のGNNに広く適用することができる。 2つの合成データセットと6つの実世界のデータセットのノード分類実験は、その有効性を示している。 コードはhttps://github.com/cf020031308/LI-GNNで入手できる。

関連論文リスト

• Spatio-Spectral Graph Neural Networks [50.277959544420455]
  比スペクトルグラフネットワーク(S$2$GNN)を提案する。 S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。 S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
  論文  参考訳（メタデータ） (2024-05-29T14:28:08Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。 GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。 本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
  論文  参考訳（メタデータ） (2023-03-20T18:24:01Z)
• Robust Graph Neural Networks using Weighted Graph Laplacian [1.8292714902548342]
  グラフニューラルネットワーク(GNN)は、入力データにおけるノイズや敵攻撃に対して脆弱である。 重み付きラプラシアンGNN(RWL-GNN)として知られるGNNの強化のための汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-03T05:36:35Z)
• $p$-Laplacian Based Graph Neural Networks [27.747195341003263]
  グラフネットワーク(GNN)は、グラフ上の半教師付きノード分類において優れた性能を示す。 我々は、離散正規化フレームワークからメッセージパッシング機構を導出する$p$GNNと呼ばれる新しい$p$LaplacianベースのGNNモデルを提案する。 新たなメッセージパッシング機構は低域通過フィルタと高域通過フィルタを同時に動作させることで,ホモ親和性グラフとヘテロ親和性グラフの両方に対して$p$GNNを有効にすることができることを示す。
  論文  参考訳（メタデータ） (2021-11-14T13:16:28Z)
• Is Heterophily A Real Nightmare For Graph Neural Networks To Do Node Classification? [44.71818395535755]
  グラフニューラルネットワーク(GNN)は、帰納的バイアス(ホモフィリー仮定)に基づくグラフ構造を用いて基本ニューラルネットワーク(NN)を拡張する グラフに依存しないNNに対するGNNのパフォーマンス上の利点は、一般的には満足できないようである。 ヘテロフィリーが主な原因と見なされ、それに対応するために多くの研究が進められている。
  論文  参考訳（メタデータ） (2021-09-12T23:57:05Z)
• AdaGNN: A multi-modal latent representation meta-learner for GNNs based on AdaBoosting [0.38073142980733]
  グラフニューラルネットワーク(GNN)は、固有のネットワーク機能の抽出に重点を置いている。 GNNのための強化型メタラーナを提案する。 AdaGNNは、リッチで多様なノード近傍情報を持つアプリケーションに対して非常によく機能する。
  論文  参考訳（メタデータ） (2021-08-14T03:07:26Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• Identity-aware Graph Neural Networks [63.6952975763946]
  グラフニューラルネットワーク(ID-GNN)を1-WLテストよりも表現力の高いメッセージクラスを開発しています。 ID-GNNは、メッセージパッシング中にノードのIDを誘導的に考慮することにより、既存のGNNアーキテクチャを拡張します。 既存のGNNをID-GNNに変換すると、挑戦ノード、エッジ、グラフプロパティ予測タスクの平均40%の精度が向上することを示す。
  論文  参考訳（メタデータ） (2021-01-25T18:59:01Z)
• Graph Neural Networks: Architectures, Stability and Transferability [176.3960927323358]
  グラフニューラルネットワーク(GNN)は、グラフでサポートされている信号のための情報処理アーキテクチャである。 これらは、個々の層がグラフ畳み込みフィルタのバンクを含む畳み込みニューラルネットワーク(CNN)の一般化である。
  論文  参考訳（メタデータ） (2020-08-04T18:57:36Z)
• Bilinear Graph Neural Network with Neighbor Interactions [106.80781016591577]
  グラフニューラルネットワーク(GNN)は,グラフデータ上で表現を学習し,予測を行う強力なモデルである。 本稿では,グラフ畳み込み演算子を提案し,隣接するノードの表現の対の相互作用で重み付け和を増大させる。 このフレームワークをBGNN(Bilinear Graph Neural Network)と呼び、隣ノード間の双方向相互作用によるGNN表現能力を向上させる。
  論文  参考訳（メタデータ） (2020-02-10T06:43:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。