論文の概要: GraphAny: A Foundation Model for Node Classification on Any Graph
- arxiv url: http://arxiv.org/abs/2405.20445v1
- Date: Thu, 30 May 2024 19:43:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 18:24:43.279965
- Title: GraphAny: A Foundation Model for Node Classification on Any Graph
- Title（参考訳）: GraphAny:任意のグラフ上のノード分類のための基礎モデル
- Authors: Jianan Zhao, Hesham Mostafa, Michael Galkin, Michael Bronstein, Zhaocheng Zhu, Jian Tang,
- Abstract要約: 特定のトレーニングを必要とせずに新しいタスクで推論を実行できるファンデーションモデルは、視覚と言語アプリケーションにおける機械学習に革命をもたらした。
本研究では,GraphAnyと呼ばれる帰納的ノード分類のための新しい基盤アーキテクチャを用いて,2つの課題に取り組む。
具体的には、各ノードの注意スコアを学習し、複数のLinearGNNの予測を融合させ、新しいグラフの一般化を保証する。
実証的には、わずか120のラベル付きノードを持つウィスコンシンデータセットでトレーニングされたGraphAnyは、インダクティブな方法で平均67.26%の精度で30の新しいグラフを効果的に一般化することができる。
- 参考スコア（独自算出の注目度）: 19.428978460583817
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundation models that can perform inference on any new task without requiring specific training have revolutionized machine learning in vision and language applications. However, applications involving graph-structured data remain a tough nut for foundation models, due to challenges in the unique feature- and label spaces associated with each graph. Traditional graph ML models such as graph neural networks (GNNs) trained on graphs cannot perform inference on a new graph with feature and label spaces different from the training ones. Furthermore, existing models learn functions specific to the training graph and cannot generalize to new graphs. In this work, we tackle these two challenges with a new foundational architecture for inductive node classification named GraphAny. GraphAny models inference on a new graph as an analytical solution to a LinearGNN, thereby solving the first challenge. To solve the second challenge, we learn attention scores for each node to fuse the predictions of multiple LinearGNNs. Specifically, the attention module is carefully parameterized as a function of the entropy-normalized distance-features between multiple LinearGNNs predictions to ensure generalization to new graphs. Empirically, GraphAny trained on the Wisconsin dataset with only 120 labeled nodes can effectively generalize to 30 new graphs with an average accuracy of 67.26\% in an inductive manner, surpassing GCN and GAT trained in the supervised regime, as well as other inductive baselines.
- Abstract（参考訳）: 特定のトレーニングを必要とせずに新しいタスクで推論を実行できるファンデーションモデルは、視覚と言語アプリケーションにおける機械学習に革命をもたらした。
しかし、グラフ構造データを含むアプリケーションは、各グラフに関連付けられたユニークな特徴空間とラベル空間の難しさのため、基礎モデルにとって依然として困難である。
グラフでトレーニングされたグラフニューラルネットワーク(GNN)のような従来のグラフMLモデルは、トレーニングしたものとは異なる特徴とラベル空間を持つ新しいグラフで推論を行うことはできない。
さらに、既存のモデルはトレーニンググラフに固有の関数を学習し、新しいグラフに一般化することができない。
本研究では,この2つの課題に,GraphAnyと呼ばれる帰納的ノード分類のための新しい基礎的アーキテクチャで対処する。
GraphAnyは、LinearGNNの分析ソリューションとして、新しいグラフ上での推論をモデル化することで、最初の課題を解決する。
第2の課題を解決するために、各ノードの注意スコアを学習し、複数のLinearGNNの予測を融合する。
具体的には、注目モジュールを複数のLinearGNN間のエントロピー正規化距離関数として注意深くパラメータ化し、新しいグラフへの一般化を保証する。
実証的に、わずか120のラベル付きノードを持つウィスコンシンデータセットでトレーニングされたGraphAnyは、インダクティブな平均精度67.26\%の30の新しいグラフを効果的に一般化することができ、監督体制でトレーニングされたGCNやGAT、その他のインダクティブベースラインを上回る。
関連論文リスト
- Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。
このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。
また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
論文 参考訳（メタデータ） (2025-01-01T08:48:53Z) - Inductive Graph Alignment Prompt: Bridging the Gap between Graph
Pre-training and Inductive Fine-tuning From Spectral Perspective [13.277779426525056]
グラフ事前学習と微調整」パラダイムはグラフニューラルネットワーク(GNN)を大幅に改善した
しかし、事前学習と微調整の段階でのデータとタスクの差が大きいため、モデルの性能は依然として限られている。
Inductive Graph Alignment Prompt(IGAP)と呼ばれる新しいグラフプロンプト方式を提案する。
論文 参考訳（メタデータ） (2024-02-21T06:25:54Z) - GraphGLOW: Universal and Generalizable Structure Learning for Graph
Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。
一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。
十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文 参考訳（メタデータ） (2023-06-20T03:33:22Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳（メタデータ） (2022-08-21T15:12:08Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Meta-Inductive Node Classification across Graphs [6.0471030308057285]
MI-GNNと呼ばれる新しいメタインダクタティブフレームワークを提案し、各グラフにインダクタティブモデルをカスタマイズする。
MI-GNNは誘導モデルを直接学習するものではなく、新しいグラフ上の半監視ノード分類のためのモデルをトレーニングする方法に関する一般的な知識を学ぶ。
5つの実世界のグラフコレクションに関する広範な実験により,提案モデルの有効性が示された。
論文 参考訳（メタデータ） (2021-05-14T09:16:28Z) - Line Graph Neural Networks for Link Prediction [71.00689542259052]
実世界の多くのアプリケーションにおいて古典的なグラフ解析問題であるグラフリンク予測タスクについて検討する。
このフォーマリズムでは、リンク予測問題をグラフ分類タスクに変換する。
本稿では,線グラフをグラフ理論に用いて,根本的に異なる新しい経路を求めることを提案する。
特に、線グラフの各ノードは、元のグラフのユニークなエッジに対応するため、元のグラフのリンク予測問題は、グラフ分類タスクではなく、対応する線グラフのノード分類問題として等価に解決できる。
論文 参考訳（メタデータ） (2020-10-20T05:54:31Z) - Graph Pooling with Node Proximity for Hierarchical Representation
Learning [80.62181998314547]
本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。
その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
論文 参考訳（メタデータ） (2020-06-19T13:09:44Z) - Customized Graph Neural Networks [38.30640892828196]
グラフニューラルネットワーク(GNN)は,グラフ分類のタスクを大幅に進歩させた。
本稿では,新たにカスタマイズされたグラフニューラルネットワークフレームワークであるCustomized-GNNを提案する。
提案するフレームワークは非常に一般的なもので,既存のグラフニューラルネットワークモデルにも適用可能である。
論文 参考訳（メタデータ） (2020-05-22T05:22:24Z) - The Power of Graph Convolutional Networks to Distinguish Random Graph
Models: Short Version [27.544219236164764]
グラフ畳み込みネットワーク(GCN)はグラフ表現学習において広く使われている手法である。
サンプルグラフの埋め込みに基づいて異なるランダムグラフモデルを区別するGCNのパワーについて検討する。
論文 参考訳（メタデータ） (2020-02-13T17:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。