論文の概要: Where Did the Gap Go? Reassessing the Long-Range Graph Benchmark

• arxiv url: http://arxiv.org/abs/2309.00367v2
• Date: Tue, 5 Sep 2023 14:35:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 11:48:37.077097
• Title: Where Did the Gap Go? Reassessing the Long-Range Graph Benchmark
• Title（参考訳）: ギャップはどこへ行ったのか? Long-Range Graphベンチマークの再評価
• Authors: Jan T\"onshoff, Martin Ritzert, Eran Rosenbluth, Martin Grohe
• Abstract要約: グラフ変換器がメッセージパッシングGNN(MPGNN)を著しく上回っているという実証的証拠 報告された性能ギャップは、最適以下のパラメータ選択によって過大評価されることを示す。 本論文の主な目的は,グラフ機械学習コミュニティにおいて,より高度な経験的厳密性を確立することである。
• 参考スコア（独自算出の注目度）: 4.272016212825404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent Long-Range Graph Benchmark (LRGB, Dwivedi et al. 2022) introduced a set of graph learning tasks strongly dependent on long-range interaction between vertices. Empirical evidence suggests that on these tasks Graph Transformers significantly outperform Message Passing GNNs (MPGNNs). In this paper, we carefully reevaluate multiple MPGNN baselines as well as the Graph Transformer GPS (Ramp\'a\v{s}ek et al. 2022) on LRGB. Through a rigorous empirical analysis, we demonstrate that the reported performance gap is overestimated due to suboptimal hyperparameter choices. It is noteworthy that across multiple datasets the performance gap completely vanishes after basic hyperparameter optimization. In addition, we discuss the impact of lacking feature normalization for LRGB's vision datasets and highlight a spurious implementation of LRGB's link prediction metric. The principal aim of our paper is to establish a higher standard of empirical rigor within the graph machine learning community.
• Abstract（参考訳）: 最近のLong-Range Graph Benchmark (LRGB, Dwivedi et al. 2022)では、頂点間の長距離相互作用に強く依存するグラフ学習タスクが導入された。 これらのタスクにおいて、Graph TransformerはMessage Passing GNN(MPGNN)を大幅に上回っている。 本稿では、LRGB上で複数のMPGNNベースラインとグラフトランスフォーマーGPS(Ramp\'a\v{s}ek et al. 2022)を再評価する。 厳密な実証分析により,サブオプティカルハイパーパラメータの選択により,報告される性能ギャップが過大評価されていることを実証した。 複数のデータセットにまたがるパフォーマンスギャップは、基本的なハイパーパラメータ最適化後に完全に消える。 さらに、LRGBの視覚データセットの機能正規化の欠如の影響を論じ、LRGBのリンク予測指標の急激な実装を強調した。 本論文の目的は,グラフ機械学習コミュニティにおける経験的厳密さのより高い基準を確立することである。

関連論文リスト

• Diffusing to the Top: Boost Graph Neural Networks with Minimal Hyperparameter Tuning [33.948899558876604]
  グラフ条件付き潜在拡散フレームワーク(GNN-Diff)を導入し,高性能なGNNを生成する。 提案手法は,小,大,長距離グラフ上のノード分類とリンク予測という4つのグラフタスクを対象とした166の実験を通じて検証する。
  論文  参考訳（メタデータ） (2024-10-08T05:27:34Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Temporal Graph Benchmark for Machine Learning on Temporal Graphs [54.52243310226456]
  テンポラルグラフベンチマーク(TGB)は、困難で多様なベンチマークデータセットのコレクションである。 各データセットをベンチマークし、共通のモデルのパフォーマンスがデータセット間で大きく異なることを発見した。 TGBは、再現可能でアクセス可能な時間グラフ研究のための自動機械学習パイプラインを提供する。
  論文  参考訳（メタデータ） (2023-07-03T13:58:20Z)
• Edge Directionality Improves Learning on Heterophilic Graphs [42.5099159786891]
  我々は、有向グラフを深層学習するための新しいフレームワークであるDir-GNN(Directed Graph Neural Network)を紹介する。 Dir-GNNは、任意のメッセージパッシングニューラルネットワーク(MPNN)を拡張して、エッジ指向性情報を考慮するために使用することができる。 我々は,Dir-GNNが従来のMPNNよりも高い指向性Weisfeiler-Lehmanテストの表現性に一致することを証明した。
  論文  参考訳（メタデータ） (2023-05-17T18:06:43Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Long Range Graph Benchmark [32.317725340138104]
  単にワンホップメッセージパッシングに頼るMP-GNNは、既存のグラフベンチマークでよく使われる。 ベースラインのGNNとGraph Transformerネットワークの両方をベンチマークし、長距離依存をキャプチャするモデルがこれらのタスクにおいて著しく優れていることを検証した。
  論文  参考訳（メタデータ） (2022-06-16T13:33:22Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• Pseudoinverse Graph Convolutional Networks: Fast Filters Tailored for Large Eigengaps of Dense Graphs and Hypergraphs [0.0]
  Graph Convolutional Networks (GCNs) は、グラフベースのデータセットで半教師付き分類を行うツールとして成功している。 本稿では,三部フィルタ空間が高密度グラフを対象とする新しいGCN変種を提案する。
  論文  参考訳（メタデータ） (2020-08-03T08:48:41Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。