論文の概要: Rethinking Structure Learning For Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2411.07672v1
• Date: Tue, 12 Nov 2024 09:39:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:20:49.755724
• Title: Rethinking Structure Learning For Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークのための構造学習の再考
• Authors: Yilun Zheng, Zhuofan Zhang, Ziming Wang, Xiang Li, Sitao Luan, Xiaojiang Peng, Lihui Chen,
• Abstract要約: グラフ構造学習(GSL)は、元のグラフ構造を再構築または洗練するために広く応用されている。 GSLは一般にGNNの性能を改善すると考えられているが、その効果を定量化するための理論的分析は存在しない。 本稿では,GSLベース,新しい構造構築,ビュー融合という3つのステップを含む新しいGSLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.753943955505406
• License:
• Abstract: To improve the performance of Graph Neural Networks (GNNs), Graph Structure Learning (GSL) has been extensively applied to reconstruct or refine original graph structures, effectively addressing issues like heterophily, over-squashing, and noisy structures. While GSL is generally thought to improve GNN performance, it often leads to longer training times and more hyperparameter tuning. Besides, the distinctions among current GSL methods remain ambiguous from the perspective of GNN training, and there is a lack of theoretical analysis to quantify their effectiveness. Recent studies further suggest that, under fair comparisons with the same hyperparameter tuning, GSL does not consistently outperform baseline GNNs. This motivates us to ask a critical question: is GSL really useful for GNNs? To address this question, this paper makes two key contributions. First, we propose a new GSL framework, which includes three steps: GSL base (the representation used for GSL) construction, new structure construction, and view fusion, to better understand the effectiveness of GSL in GNNs. Second, after graph convolution, we analyze the differences in mutual information (MI) between node representations derived from the original topology and those from the newly constructed topology. Surprisingly, our empirical observations and theoretical analysis show that no matter which type of graph structure construction methods are used, after feeding the same GSL bases to the newly constructed graph, there is no MI gain compared to the original GSL bases. To fairly reassess the effectiveness of GSL, we conduct ablation experiments and find that it is the pretrained GSL bases that enhance GNN performance, and in most cases, GSL cannot improve GNN performance. This finding encourages us to rethink the essential components in GNNs, such as self-training and structural encoding, in GNN design rather than GSL.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)の性能向上のために、グラフ構造学習(GSL)は、元のグラフ構造を再構築または洗練するために広く適用され、ヘテロフィリー、オーバースカッシング、ノイズなどの問題に効果的に対処している。 GSLは一般的にGNNのパフォーマンスを改善すると考えられているが、多くの場合、より長いトレーニング時間とハイパーパラメータチューニングに繋がる。 さらに、現在のGSL法の違いは、GNN訓練の観点からもあいまいであり、その効果を定量化するための理論的分析の欠如がある。 最近の研究では、同じハイパーパラメータチューニングと比較しても、GSLはベースラインGNNよりも一貫して優れているわけではないことが示唆されている。 GSLは本当にGNNにとって役に立つのでしょうか? この問題に対処するために、本稿は2つの重要な貢献をする。 まず,GSLにおけるGSLの有効性をよりよく理解するために,GSLベース(GSLに使用される表現)の構築,新しい構造構築,ビュー融合の3つのステップを含む新しいGSLフレームワークを提案する。 第二に、グラフ畳み込み後、元のトポロジから派生したノード表現と新しく構築されたトポロジから派生したノード表現の相互情報(MI)の違いを分析する。 意外なことに、我々の経験的観察と理論的分析は、どのグラフ構造構築方法が使われているかに関わらず、同じGSLベースを新たに構築されたグラフに供給した後、元のGSLベースと比べてMIゲインがないことを示している。 GSLの有効性を十分に再評価するために、私たちはAblation実験を行い、GNN性能を向上させるための事前訓練されたGSLベースであり、ほとんどの場合、GSLはGNN性能を改善することができないことを発見した。 この発見は、GSLではなくGNN設計において、自己学習や構造的エンコーディングといった、GNNの本質的なコンポーネントを再考する上で有効である。

関連論文リスト

• GSLB: The Graph Structure Learning Benchmark [34.859275408785614]
  グラフ構造学習(GSL)は、グラフニューラルネットワーク(GNN)のパラメータと計算グラフ構造の両方を同時に最適化する能力のため、近年注目されている。 パフォーマンス評価の標準的な実験的な設定や公正な比較は存在せず、この分野の進歩を理解するのに大きな障害を生み出します。 グラフ構造学習ベンチマーク (GSLB) を開発した。
  論文  参考訳（メタデータ） (2023-10-08T14:13:03Z)
• OpenGSL: A Comprehensive Benchmark for Graph Structure Learning [40.50100033304329]
  グラフ構造学習(GSL)の最初の包括的なベンチマークであるOpenGSLを紹介する。 OpenGSLは、様々な一般的なデータセットで評価することで、最先端のGSLメソッドの公平な比較を可能にする。 学習した構造のホモフィリィとタスクパフォーマンスとの間に有意な相関は見られず、共通の信念に挑戦する。
  論文  参考訳（メタデータ） (2023-06-17T07:22:25Z)
• SE-GSL: A General and Effective Graph Structure Learning Framework through Structural Entropy Optimization [67.28453445927825]
  グラフニューラルネットワーク(GNN)は、構造的データ学習のデファクトソリューションである。 既存のグラフ構造学習(GSL)フレームワークには、堅牢性と解釈性がない。 本稿では、構造エントロピーと符号化木に抽象化されたグラフ階層を通して、一般的なGSLフレームワークSE-GSLを提案する。
  論文  参考訳（メタデータ） (2023-03-17T05:20:24Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Self-Supervised Graph Structure Refinement for Graph Neural Networks [31.924317784535155]
  グラフ構造学習(GSL)はグラフニューラルネットワーク(GNN)の隣接行列の学習を目的としている 既存のGSLの作業の多くは、推定隣接行列とGNNパラメータを下流タスクに最適化した共同学習フレームワークを適用している。 プレトレイン-ファインチューンパイプラインを用いたグラフ構造改善(GSR)フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-12T02:01:46Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• Deep Graph Structure Learning for Robust Representations: A Survey [20.564611153151834]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの解析に広く利用されている。 GNNモデルの堅牢性を改善するため、グラフ構造学習の中心概念を中心に多くの研究が提案されている。
  論文  参考訳（メタデータ） (2021-03-04T13:49:25Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 既存のGNNモデルの多くは浅く、本質的に機能中心である。 我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。 本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-08T02:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。