論文の概要: Are Heterophily-Specific GNNs and Homophily Metrics Really Effective? Evaluation Pitfalls and New Benchmarks

• arxiv url: http://arxiv.org/abs/2409.05755v1
• Date: Mon, 9 Sep 2024 16:11:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 13:56:09.404573
• Title: Are Heterophily-Specific GNNs and Homophily Metrics Really Effective? Evaluation Pitfalls and New Benchmarks
• Title（参考訳）: ヘテロフィックなGNNとホモフィリーメトリクスは本当に有効か? : 落とし穴の評価と新しいベンチマーク
• Authors: Sitao Luan, Qincheng Lu, Chenqing Hua, Xinyu Wang, Jiaqi Zhu, Xiao-Wen Chang, Guy Wolf, Jian Tang,
• Abstract要約: グラフニューラルネットワーク(GNN)は、リレーショナルデータを用いた機械学習タスクで大きな成功を収めている。 近年の研究では、ヘテロフィリがGNNの性能低下を引き起こすことが報告されている。 様々なホモフィリー指標は、これらの悪性データセットを認識するのに役立つように設計されている。
• 参考スコア（独自算出の注目度）: 25.595635794463796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over the past decade, Graph Neural Networks (GNNs) have achieved great success on machine learning tasks with relational data. However, recent studies have found that heterophily can cause significant performance degradation of GNNs, especially on node-level tasks. Numerous heterophilic benchmark datasets have been put forward to validate the efficacy of heterophily-specific GNNs and various homophily metrics have been designed to help people recognize these malignant datasets. Nevertheless, there still exist multiple pitfalls that severely hinder the proper evaluation of new models and metrics. In this paper, we point out three most serious pitfalls: 1) a lack of hyperparameter tuning; 2) insufficient model evaluation on the real challenging heterophilic datasets; 3) missing quantitative evaluation benchmark for homophily metrics on synthetic graphs. To overcome these challenges, we first train and fine-tune baseline models on $27$ most widely used benchmark datasets, categorize them into three distinct groups: malignant, benign and ambiguous heterophilic datasets, and identify the real challenging subsets of tasks. To our best knowledge, we are the first to propose such taxonomy. Then, we re-evaluate $10$ heterophily-specific state-of-the-arts (SOTA) GNNs with fine-tuned hyperparameters on different groups of heterophilic datasets. Based on the model performance, we reassess their effectiveness on addressing heterophily challenge. At last, we evaluate $11$ popular homophily metrics on synthetic graphs with three different generation approaches. To compare the metrics strictly, we propose the first quantitative evaluation method based on Fr\'echet distance.
• Abstract（参考訳）: 過去10年間で、グラフニューラルネットワーク(GNN)は、リレーショナルデータによる機械学習タスクで大きな成功を収めました。 しかし、近年の研究では、特にノードレベルのタスクにおいて、ヘテロフィリーがGNNの大幅な性能劣化を引き起こすことが報告されている。 異種特異的なGNNの有効性を検証するために、多くの異種性ベンチマークデータセットが提案されている。 それでも、新しいモデルやメトリクスの適切な評価を著しく妨げる、複数の落とし穴が存在する。 本稿では,最も深刻な落とし穴を3つ挙げる。 1) ハイパーパラメータチューニングの欠如 2) 真の挑戦的ヘテロ親和性データセットのモデル評価が不十分である。 3) 合成グラフ上でのホモフィリメトリックの定量的評価ベンチマークの欠落。 これらの課題を克服するために、私たちはまず、最も広く使用されているベンチマークデータセット27ドルで、ベースラインモデルをトレーニングし、それらを悪性、良性、曖昧な異種性データセットの3つのグループに分類し、タスクの真に困難なサブセットを特定しました。 私たちの知る限りでは、このような分類を最初に提案するのは私たちです。 ヘテロフィリン特異的なSOTA(State-of-the-arts)GNNを、ヘテロ親水性データセットの異なるグループで微調整したハイパーパラメータで再評価する。 モデル性能に基づいて、異種問題に対処する上での有効性を再評価する。 最終的に、我々は3つの異なる世代アプローチを持つ合成グラフ上で、11ドル人気のホモフィリーメトリクスを評価した。 厳密に比較するために,Fr'echet距離に基づく最初の定量的評価手法を提案する。

関連論文リスト

• The Heterophilic Graph Learning Handbook: Benchmarks, Models, Theoretical Analysis, Applications and Challenges [101.83124435649358]
  ホモフィリ原理では、同じラベルや類似属性を持つieノードが接続される可能性が高い。 最近の研究で、GNNのパフォーマンスとNNのパフォーマンスが満足できない非自明なデータセットが特定されている。
  論文  参考訳（メタデータ） (2024-07-12T18:04:32Z)
• The Heterophilic Snowflake Hypothesis: Training and Empowering GNNs for Heterophilic Graphs [59.03660013787925]
  ヘテロフィリー・スノーフレーク仮説を導入し、ヘテロ親和性グラフの研究をガイドし、促進するための効果的なソリューションを提供する。 観察の結果,我々のフレームワークは多種多様なタスクのための多目的演算子として機能することがわかった。 さまざまなGNNフレームワークに統合することができ、パフォーマンスを詳細に向上し、最適なネットワーク深さを選択するための説明可能なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-06-18T12:16:00Z)
• Generation is better than Modification: Combating High Class Homophily Variance in Graph Anomaly Detection [51.11833609431406]
  異なるクラス間のホモフィリー分布の差は、ホモフィリックグラフやヘテロフィリックグラフよりも著しく大きい。 我々は、この現象を定量的に記述した、クラスホモフィリーバリアンスと呼ばれる新しい計量を導入する。 その影響を軽減するために,ホモフィリーエッジ生成グラフニューラルネットワーク(HedGe)と呼ばれる新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-15T14:26:53Z)
• Evolving Computation Graphs [20.094508902123778]
  グラフニューラルネットワーク(GNN)は、特にホモフィリーを示すデータに対して、関係データのモデリングに成功している。 ヘテロ親和性データセット上でGNNを強化する新しい手法であるEvolving Computation Graphs (ECGs)を提案する。
  論文  参考訳（メタデータ） (2023-06-22T14:58:18Z)
• Resisting Graph Adversarial Attack via Cooperative Homophilous Augmentation [60.50994154879244]
  最近の研究では、グラフニューラルネットワークは弱く、小さな摂動によって簡単に騙されることが示されている。 本研究では,グラフインジェクションアタック(Graph Injection Attack)という,新興だが重要な攻撃に焦点を当てる。 本稿では,グラフデータとモデルの協調的同好性増強によるGIAに対する汎用防衛フレームワークCHAGNNを提案する。
  論文  参考訳（メタデータ） (2022-11-15T11:44:31Z)
• Revisiting Heterophily For Graph Neural Networks [42.41238892727136]
  グラフニューラルネットワーク(GNN)は、関係帰納バイアスに基づくグラフ構造を用いて基本ニューラルネットワーク(NN)を拡張する(ホモフィリー仮定) 最近の研究は、NNと比較してパフォーマンスが不十分な、非自明なデータセットのセットを特定している。
  論文  参考訳（メタデータ） (2022-10-14T08:00:26Z)
• Exploiting Neighbor Effect: Conv-Agnostic GNNs Framework for Graphs with Heterophily [58.76759997223951]
  我々はフォン・ノイマンエントロピーに基づく新しい計量を提案し、GNNのヘテロフィリー問題を再検討する。 また、異種データセット上でのほとんどのGNNの性能を高めるために、Conv-Agnostic GNNフレームワーク(CAGNN)を提案する。
  論文  参考訳（メタデータ） (2022-03-19T14:26:43Z)
• Is Homophily a Necessity for Graph Neural Networks? [50.959340355849896]
  グラフニューラルネットワーク(GNN)は、多数のグラフベースの機械学習タスクに適した学習表現において大きな進歩を見せている。 GNNはホモフィリーな仮定によりうまく機能し、異種ノードが接続する異種グラフへの一般化に失敗したと広く信じられている。 最近の研究は、このような不均一な制限を克服する新しいアーキテクチャを設計し、ベースライン性能の低さと、この概念の証拠として、いくつかの異種グラフベンチマークデータセットに対するアーキテクチャの改善を引用している。 我々の実験では、標準グラフ畳み込みネットワーク(GCN)が実際よりも優れた性能を実現できることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-06-11T02:44:00Z)
• New Benchmarks for Learning on Non-Homophilous Graphs [20.082182515715182]
  ホモフィリー原理を満たさないノードラベル関係を持つ改良されたグラフデータセットを多数提示する。 我々はまた、異なる体制における既存の措置よりも適しているホモフィリーの存在または不在の新しい尺度を紹介します。
  論文  参考訳（メタデータ） (2021-04-03T13:45:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。