論文の概要: Rethinking the Effectiveness of Graph Classification Datasets in Benchmarks for Assessing GNNs
- arxiv url: http://arxiv.org/abs/2407.04999v1
- Date: Sat, 6 Jul 2024 08:33:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 21:28:00.713268
- Title: Rethinking the Effectiveness of Graph Classification Datasets in Benchmarks for Assessing GNNs
- Title（参考訳）: GNN評価ベンチマークにおけるグラフ分類データセットの有効性の再考
- Authors: Zhengdao Li, Yong Cao, Kefan Shuai, Yiming Miao, Kai Hwang,
- Abstract要約: 本稿では,単純な手法とGNN間の性能差を調べるための,公正なベンチマークフレームワークに基づく経験的プロトコルを提案する。
また,データセットの複雑性とモデル性能を両立させることにより,データセットの有効性を定量化する新しい指標を提案する。
我々の発見は、ベンチマークデータセットの現在の理解に光を当て、新しいプラットフォームは、グラフ分類ベンチマークの将来的な進化を後押しする可能性がある。
- 参考スコア（独自算出の注目度）: 7.407592553310068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph classification benchmarks, vital for assessing and developing graph neural networks (GNNs), have recently been scrutinized, as simple methods like MLPs have demonstrated comparable performance. This leads to an important question: Do these benchmarks effectively distinguish the advancements of GNNs over other methodologies? If so, how do we quantitatively measure this effectiveness? In response, we first propose an empirical protocol based on a fair benchmarking framework to investigate the performance discrepancy between simple methods and GNNs. We further propose a novel metric to quantify the dataset effectiveness by considering both dataset complexity and model performance. To the best of our knowledge, our work is the first to thoroughly study and provide an explicit definition for dataset effectiveness in the graph learning area. Through testing across 16 real-world datasets, we found our metric to align with existing studies and intuitive assumptions. Finally, we explore the causes behind the low effectiveness of certain datasets by investigating the correlation between intrinsic graph properties and class labels, and we developed a novel technique supporting the correlation-controllable synthetic dataset generation. Our findings shed light on the current understanding of benchmark datasets, and our new platform could fuel the future evolution of graph classification benchmarks.
- Abstract（参考訳）: グラフ分類ベンチマークは、グラフニューラルネットワーク(GNN)の評価と開発に不可欠である。
これらのベンチマークは、他の方法論よりもGNNの進歩を効果的に区別しますか?
もしそうなら、どうすればこの効果を定量的に測定できるでしょうか。
そこで本研究では,まず,単純な手法とGNN間の性能差を調べるための,公正なベンチマークフレームワークに基づく経験的プロトコルを提案する。
さらに,データセットの複雑性とモデル性能を両立させることにより,データセットの有効性を定量化する新しい指標を提案する。
我々の知識を最大限に活用するために、我々の研究はグラフ学習領域におけるデータセットの有効性を明確に定義し、徹底的に研究した最初のものである。
16の現実世界のデータセットをテストすることで、既存の研究と直感的な仮定に合わせるためのメトリクスを見つけました。
最後に,内在性グラフ特性とクラスラベルとの相関関係について検討し,相関制御可能な合成データセット生成を支援する新しい手法を開発した。
我々の発見は、ベンチマークデータセットの現在の理解に光を当て、新しいプラットフォームは、グラフ分類ベンチマークの将来的な進化を後押しする可能性がある。
関連論文リスト
- Novel Representation Learning Technique using Graphs for Performance
Analytics [0.0]
本稿では,グラフニューラルネットワーク(GNN)技術の進歩を活用するために,パフォーマンスデータをグラフに変換する新しいアイデアを提案する。
ソーシャルネットワークのような他の機械学習アプリケーションドメインとは対照的に、グラフは提供されない。
我々は,GNNから生成された埋め込みの有効性を,単純なフィードフォワードニューラルネットワークによる回帰処理の性能評価に基づいて評価した。
論文 参考訳（メタデータ） (2024-01-19T16:34:37Z) - GOODAT: Towards Test-time Graph Out-of-Distribution Detection [103.40396427724667]
グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフデータのモデリングに広く応用されている。
近年の研究では、特定のモデルのトレーニングや、よく訓練されたGNN上でのデータ修正に重点を置いて、OOD検出のグラフを調査している。
本稿では、GNNアーキテクチャのトレーニングデータと修正から独立して動作する、データ中心、教師なし、プラグアンドプレイのソリューションを提案する。
論文 参考訳（メタデータ） (2024-01-10T08:37:39Z) - A Metadata-Driven Approach to Understand Graph Neural Networks [17.240017543449735]
グラフデータ特性に対するGNNの感度を解析するための$textitmetadata-driven$アプローチを提案する。
よりバランスの取れた次数分布を持つデータセットは,ノード表現の線形分離性の向上を図っている。
論文 参考訳（メタデータ） (2023-10-30T04:25:02Z) - Challenging the Myth of Graph Collaborative Filtering: a Reasoned and Reproducibility-driven Analysis [50.972595036856035]
本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。
これらのグラフモデルと従来の協調フィルタリングモデルを比較する。
ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
論文 参考訳（メタデータ） (2023-08-01T09:31:44Z) - Addressing the Impact of Localized Training Data in Graph Neural
Networks [0.0]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習において顕著な成功を収めた。
本稿では,グラフの局所化部分集合に対するGNNのトレーニングの影響を評価することを目的とする。
本稿では,局所化学習データとグラフ推論との分散不一致を最小化する正規化手法を提案する。
論文 参考訳（メタデータ） (2023-07-24T11:04:22Z) - Bures-Wasserstein Means of Graphs [60.42414991820453]
本研究では,スムーズなグラフ信号分布の空間への埋め込みを通じて,グラフ平均を定義する新しいフレームワークを提案する。
この埋め込み空間において平均を求めることにより、構造情報を保存する平均グラフを復元することができる。
我々は,新しいグラフの意味の存在と特異性を確立し,それを計算するための反復アルゴリズムを提供する。
論文 参考訳（メタデータ） (2023-05-31T11:04:53Z) - Strengthening structural baselines for graph classification using Local
Topological Profile [0.0]
本稿では,グラフ分類に広く用いられている構造的ベースラインを形成するトポロジカルグラフ記述子Local Degree Profile (LDP) の解析について述べる。
そこで我々は,新たな集中度尺度と局所記述子を用いて LDP を拡張したローカルトポロジカルプロファイル (adam) と呼ばれる新しいベースラインアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-01T08:59:58Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - Benchmarking Node Outlier Detection on Graphs [90.29966986023403]
グラフの外れ値検出は、多くのアプリケーションにおいて、新しいが重要な機械学習タスクである。
UNODと呼ばれるグラフに対して、最初の包括的教師なしノード外乱検出ベンチマークを示す。
論文 参考訳（メタデータ） (2022-06-21T01:46:38Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳（メタデータ） (2022-05-06T03:37:00Z) - Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。
オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。
本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
論文 参考訳（メタデータ） (2021-10-26T15:56:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。