論文の概要: Bregman Graph Neural Network

• arxiv url: http://arxiv.org/abs/2309.06645v1
• Date: Tue, 12 Sep 2023 23:54:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 15:50:29.991762
• Title: Bregman Graph Neural Network
• Title（参考訳）: bregmanグラフニューラルネットワーク
• Authors: Jiayu Zhai, Lequan Lin, Dai Shi, Junbin Gao
• Abstract要約: ノード分類タスクでは、GNNによって誘導される滑らか化効果は、連結ノードの表現と過剰な均質化ラベルを同化する傾向がある。 本稿では,Bregman 距離の概念に触発された GNN のための新しい二段階最適化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 27.64062763929748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Numerous recent research on graph neural networks (GNNs) has focused on formulating GNN architectures as an optimization problem with the smoothness assumption. However, in node classification tasks, the smoothing effect induced by GNNs tends to assimilate representations and over-homogenize labels of connected nodes, leading to adverse effects such as over-smoothing and misclassification. In this paper, we propose a novel bilevel optimization framework for GNNs inspired by the notion of Bregman distance. We demonstrate that the GNN layer proposed accordingly can effectively mitigate the over-smoothing issue by introducing a mechanism reminiscent of the "skip connection". We validate our theoretical results through comprehensive empirical studies in which Bregman-enhanced GNNs outperform their original counterparts in both homophilic and heterophilic graphs. Furthermore, our experiments also show that Bregman GNNs can produce more robust learning accuracy even when the number of layers is high, suggesting the effectiveness of the proposed method in alleviating the over-smoothing issue.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)に関する最近の多くの研究は、滑らかさを仮定した最適化問題として、GNNアーキテクチャの定式化に重点を置いている。 しかし、ノード分類タスクでは、GNNによって誘導される滑らか化効果は、連結ノードの表現と過剰な均質化ラベルを同化する傾向にあり、過度なスムース化や誤分類などの悪影響をもたらす。 本稿では,Bregman 距離の概念に着想を得た GNN のための二段階最適化フレームワークを提案する。 提案したGNN層は,「スキップ接続」を連想させる機構を導入することで,過度にスムースな問題を効果的に軽減できることを示す。 我々は,Bregman-enhanced GNN がホモ親和性グラフとヘテロ親和性グラフの両方において元のグラフよりも優れているという包括的実証研究を通じて理論結果を検証した。 さらに,bregman gnnは層数が高い場合でもより頑健な学習精度が得られることを示し,提案手法の有効性を示唆する。

関連論文リスト

• Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
  グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。 既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。 マニフォールド値スパイキングGNN(MSG)を提案する。 MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
  論文  参考訳（メタデータ） (2024-10-23T15:09:02Z)
• How Expressive are Graph Neural Networks in Recommendation? [17.31401354442106]
  グラフニューラルネットワーク(GNN)は、レコメンデーションを含むさまざまなグラフ学習タスクにおいて、優れたパフォーマンスを示している。 近年、GNNの表現性を調査し、メッセージパッシングGNNがWeisfeiler-Lehmanテストと同じくらい強力であることを実証している。 本稿では,GNNがノード間の構造的距離を捉える能力を評価するために,位相的近接度尺度を提案する。
  論文  参考訳（メタデータ） (2023-08-22T02:17:34Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Understanding and Improving Deep Graph Neural Networks: A Probabilistic Graphical Model Perspective [22.82625446308785]
  グラフニューラルネットワーク(GNN)の理解のための新しい視点を提案する。 本研究では,深いGNNに着目し,その理解のための新しい視点を提案する。 我々はより強力なGNN:結合グラフニューラルネットワーク(CoGNet)を設計する。
  論文  参考訳（メタデータ） (2023-01-25T12:02:12Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• Robust Graph Neural Networks using Weighted Graph Laplacian [1.8292714902548342]
  グラフニューラルネットワーク(GNN)は、入力データにおけるノイズや敵攻撃に対して脆弱である。 重み付きラプラシアンGNN(RWL-GNN)として知られるGNNの強化のための汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-03T05:36:35Z)
• Is Heterophily A Real Nightmare For Graph Neural Networks To Do Node Classification? [44.71818395535755]
  グラフニューラルネットワーク(GNN)は、帰納的バイアス(ホモフィリー仮定)に基づくグラフ構造を用いて基本ニューラルネットワーク(NN)を拡張する グラフに依存しないNNに対するGNNのパフォーマンス上の利点は、一般的には満足できないようである。 ヘテロフィリーが主な原因と見なされ、それに対応するために多くの研究が進められている。
  論文  参考訳（メタデータ） (2021-09-12T23:57:05Z)
• Cyclic Label Propagation for Graph Semi-supervised Learning [52.102251202186025]
  本稿では,CycPropと呼ばれるグラフ半教師付き学習のための新しいフレームワークを提案する。 CycPropはGNNを周期的かつ相互に強化された方法でラベル伝播の過程に統合する。 特に,提案するCycPropでは,GNNモジュールが学習したノード埋め込みをラベル伝搬による拡張情報で更新する。
  論文  参考訳（メタデータ） (2020-11-24T02:55:40Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。