論文の概要: GraphFM: A Comprehensive Benchmark for Graph Foundation Model

• arxiv url: http://arxiv.org/abs/2406.08310v2
• Date: Fri, 14 Jun 2024 15:36:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 17:54:01.962811
• Title: GraphFM: A Comprehensive Benchmark for Graph Foundation Model
• Title（参考訳）: GraphFM: Graph Foundation Modelの総合ベンチマーク
• Authors: Yuhao Xu, Xinqi Liu, Keyu Duan, Yi Fang, Yu-Neng Chuang, Daochen Zha, Qiaoyu Tan,
• Abstract要約: ファンデーション・モデル(FM)は、人工知能システムの開発のための一般的なクラスである。 FMの基礎として自己教師型学習の研究が盛んに行われたが、いくつかの顕著な問題が続いている。 下流タスクにおける一般化能力の程度は未だ不明である。 これらのモデルが大規模なデータセットにどの程度効果的にスケールできるかは不明だ。
• 参考スコア（独自算出の注目度）: 33.157367455390144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation Models (FMs) serve as a general class for the development of artificial intelligence systems, offering broad potential for generalization across a spectrum of downstream tasks. Despite extensive research into self-supervised learning as the cornerstone of FMs, several outstanding issues persist in Graph Foundation Models that rely on graph self-supervised learning, namely: 1) Homogenization. The extent of generalization capability on downstream tasks remains unclear. 2) Scalability. It is unknown how effectively these models can scale to large datasets. 3) Efficiency. The training time and memory usage of these models require evaluation. 4) Training Stop Criteria. Determining the optimal stopping strategy for pre-training across multiple tasks to maximize performance on downstream tasks. To address these questions, we have constructed a rigorous benchmark that thoroughly analyzes and studies the generalization and scalability of self-supervised Graph Neural Network (GNN) models. Regarding generalization, we have implemented and compared the performance of various self-supervised GNN models, trained to generate node representations, across tasks such as node classification, link prediction, and node clustering. For scalability, we have compared the performance of various models after training using full-batch and mini-batch strategies. Additionally, we have assessed the training efficiency of these models by conducting experiments to test their GPU memory usage and throughput. Through these experiments, we aim to provide insights to motivate future research. The code for this benchmark is publicly available at https://github.com/NYUSHCS/GraphFM.
• Abstract（参考訳）: ファンデーション・モデル(FM)は、人工知能システムの開発のための一般的なクラスとして機能し、下流のタスクの範囲にまたがる一般化の幅広い可能性を提供する。 FMの基礎として自己教師型学習を幅広く研究しているにもかかわらず、グラフの自己教師型学習に依存するグラフファウンデーションモデルにはいくつかの顕著な問題が残っている。 1) 均質化。 下流タスクにおける一般化能力の程度は未だ不明である。 2)スケーラビリティ。 これらのモデルが大規模なデータセットにどの程度効果的にスケールできるかは不明だ。 3)効率性。 これらのモデルのトレーニング時間とメモリ使用量を評価する必要がある。 4) 研修停止基準 下流タスクのパフォーマンスを最大化するために、複数のタスクにまたがる事前トレーニングのための最適な停止戦略を決定する。 これらの問題に対処するため、我々は、自己教師付きグラフニューラルネットワーク(GNN)モデルの一般化とスケーラビリティを徹底的に分析し研究する厳密なベンチマークを構築した。 一般化に関しては,ノード分類,リンク予測,ノードクラスタリングといったタスクにまたがって,ノード表現を生成するために訓練された,各種自己教師付きGNNモデルの性能と比較を行った。 スケーラビリティのために、フルバッチとミニバッチ戦略を用いたトレーニング後の各種モデルの性能を比較した。 さらに、GPUメモリ使用量とスループットをテストする実験を行うことで、これらのモデルのトレーニング効率を評価した。 これらの実験を通じて、将来の研究を動機付けるための洞察を提供することを目指している。 このベンチマークのコードはhttps://github.com/NYUSHCS/GraphFMで公開されている。

関連論文リスト

• Diffusing to the Top: Boost Graph Neural Networks with Minimal Hyperparameter Tuning [33.948899558876604]
  グラフ条件付き潜在拡散フレームワーク(GNN-Diff)を導入し,高性能なGNNを生成する。 提案手法は,小,大,長距離グラフ上のノード分類とリンク予測という4つのグラフタスクを対象とした166の実験を通じて検証する。
  論文  参考訳（メタデータ） (2024-10-08T05:27:34Z)
• GOFA: A Generative One-For-All Model for Joint Graph Language Modeling [38.267339613261996]
  この問題を解決するために,新たに生成グラフ言語モデルGOFAを提案する。 GOFAは、新たに提案されたグラフレベルの次単語予測、質問応答、構造的タスクに基づいて事前訓練されている。 モデルは様々な下流タスクに基づいて評価され、ゼロショットシナリオにおける構造的および文脈的問題を解く強力な能力を示す。
  論文  参考訳（メタデータ） (2024-07-12T22:23:51Z)
• GOODAT: Towards Test-time Graph Out-of-Distribution Detection [103.40396427724667]
  グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフデータのモデリングに広く応用されている。 近年の研究では、特定のモデルのトレーニングや、よく訓練されたGNN上でのデータ修正に重点を置いて、OOD検出のグラフを調査している。 本稿では、GNNアーキテクチャのトレーニングデータと修正から独立して動作する、データ中心、教師なし、プラグアンドプレイのソリューションを提案する。
  論文  参考訳（メタデータ） (2024-01-10T08:37:39Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• SizeShiftReg: a Regularization Method for Improving Size-Generalization in Graph Neural Networks [5.008597638379227]
  グラフニューラルネットワーク(GNN)は,グラフ分類のデファクトモデルとなっている。 テストデータへのアクセスを必要とせずに,任意のGNNに適用可能な正規化戦略を提案する。 我々の正規化は、粗い手法を用いてトレーニンググラフのサイズの変化をシミュレートする考え方に基づいている。
  論文  参考訳（メタデータ） (2022-07-16T09:50:45Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。