論文の概要: GraphAny: A Foundation Model for Node Classification on Any Graph

• arxiv url: http://arxiv.org/abs/2405.20445v2
• Date: Mon, 3 Jun 2024 02:08:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 13:30:34.708790
• Title: GraphAny: A Foundation Model for Node Classification on Any Graph
• Title（参考訳）: GraphAny:任意のグラフ上のノード分類のための基礎モデル
• Authors: Jianan Zhao, Hesham Mostafa, Mikhail Galkin, Michael Bronstein, Zhaocheng Zhu, Jian Tang,
• Abstract要約: 特定のトレーニングを必要とせずに新しいタスクで推論を実行できるファンデーションモデルは、視覚と言語アプリケーションにおける機械学習に革命をもたらした。 本研究では,GraphAnyと呼ばれる帰納的ノード分類のための新しい基盤アーキテクチャを用いて,2つの課題に取り組む。 具体的には、各ノードの注意スコアを学習し、複数のLinearGNNの予測を融合させ、新しいグラフの一般化を保証する。 実証的には、わずか120のラベル付きノードを持つウィスコンシンデータセットでトレーニングされたGraphAnyは、インダクティブな方法で平均67.26%の精度で30の新しいグラフを効果的に一般化することができる。
• 参考スコア（独自算出の注目度）: 18.90340185554506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models that can perform inference on any new task without requiring specific training have revolutionized machine learning in vision and language applications. However, applications involving graph-structured data remain a tough nut for foundation models, due to challenges in the unique feature- and label spaces associated with each graph. Traditional graph ML models such as graph neural networks (GNNs) trained on graphs cannot perform inference on a new graph with feature and label spaces different from the training ones. Furthermore, existing models learn functions specific to the training graph and cannot generalize to new graphs. In this work, we tackle these two challenges with a new foundational architecture for inductive node classification named GraphAny. GraphAny models inference on a new graph as an analytical solution to a LinearGNN, thereby solving the first challenge. To solve the second challenge, we learn attention scores for each node to fuse the predictions of multiple LinearGNNs. Specifically, the attention module is carefully parameterized as a function of the entropy-normalized distance-features between multiple LinearGNNs predictions to ensure generalization to new graphs. Empirically, GraphAny trained on the Wisconsin dataset with only 120 labeled nodes can effectively generalize to 30 new graphs with an average accuracy of 67.26\% in an inductive manner, surpassing GCN and GAT trained in the supervised regime, as well as other inductive baselines.
• Abstract（参考訳）: 特定のトレーニングを必要とせずに新しいタスクで推論を実行できるファンデーションモデルは、視覚と言語アプリケーションにおける機械学習に革命をもたらした。 しかし、グラフ構造データを含むアプリケーションは、各グラフに関連付けられたユニークな特徴空間とラベル空間の難しさのため、基礎モデルにとって依然として困難である。 グラフでトレーニングされたグラフニューラルネットワーク(GNN)のような従来のグラフMLモデルは、トレーニングしたものとは異なる特徴とラベル空間を持つ新しいグラフで推論を行うことはできない。 さらに、既存のモデルはトレーニンググラフに固有の関数を学習し、新しいグラフに一般化することができない。 本研究では,この2つの課題に,GraphAnyと呼ばれる帰納的ノード分類のための新しい基礎的アーキテクチャで対処する。 GraphAnyは、LinearGNNの分析ソリューションとして、新しいグラフ上での推論をモデル化することで、最初の課題を解決する。 第2の課題を解決するために、各ノードの注意スコアを学習し、複数のLinearGNNの予測を融合する。 具体的には、注目モジュールを複数のLinearGNN間のエントロピー正規化距離関数として注意深くパラメータ化し、新しいグラフへの一般化を保証する。 実証的に、わずか120のラベル付きノードを持つウィスコンシンデータセットでトレーニングされたGraphAnyは、インダクティブな平均精度67.26\%の30の新しいグラフを効果的に一般化することができ、監督体制でトレーニングされたGCNやGAT、その他のインダクティブベースラインを上回る。

関連論文リスト

• One for All: Towards Training One Graph Model for All Classification Tasks [61.656962278497225]
  様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。 上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。 OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
  論文  参考訳（メタデータ） (2023-09-29T21:15:26Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Meta-Inductive Node Classification across Graphs [6.0471030308057285]
  MI-GNNと呼ばれる新しいメタインダクタティブフレームワークを提案し、各グラフにインダクタティブモデルをカスタマイズする。 MI-GNNは誘導モデルを直接学習するものではなく、新しいグラフ上の半監視ノード分類のためのモデルをトレーニングする方法に関する一般的な知識を学ぶ。 5つの実世界のグラフコレクションに関する広範な実験により,提案モデルの有効性が示された。
  論文  参考訳（メタデータ） (2021-05-14T09:16:28Z)
• Line Graph Neural Networks for Link Prediction [71.00689542259052]
  実世界の多くのアプリケーションにおいて古典的なグラフ解析問題であるグラフリンク予測タスクについて検討する。 このフォーマリズムでは、リンク予測問題をグラフ分類タスクに変換する。 本稿では,線グラフをグラフ理論に用いて,根本的に異なる新しい経路を求めることを提案する。 特に、線グラフの各ノードは、元のグラフのユニークなエッジに対応するため、元のグラフのリンク予測問題は、グラフ分類タスクではなく、対応する線グラフのノード分類問題として等価に解決できる。
  論文  参考訳（メタデータ） (2020-10-20T05:54:31Z)
• Lifelong Graph Learning [6.282881904019272]
  連続グラフ学習問題を正規グラフ学習問題に変換することにより、グラフ学習と生涯学習を橋渡しする。 機能グラフネットワーク(FGN)は,ウェアラブルデバイスを用いた生涯の人間行動認識と特徴マッチングという2つのアプリケーションにおいて,優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2020-09-01T18:21:34Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)
• Customized Graph Neural Networks [38.30640892828196]
  グラフニューラルネットワーク(GNN)は,グラフ分類のタスクを大幅に進歩させた。 本稿では,新たにカスタマイズされたグラフニューラルネットワークフレームワークであるCustomized-GNNを提案する。 提案するフレームワークは非常に一般的なもので,既存のグラフニューラルネットワークモデルにも適用可能である。
  論文  参考訳（メタデータ） (2020-05-22T05:22:24Z)
• Incomplete Graph Representation and Learning via Partial Graph Neural Networks [7.227805463462352]
  多くのアプリケーションでは、グラフノードの属性が部分的に未知/欠落している不完全な形式でグラフがやってくる可能性がある。 既存のGNNは、属性不完全なグラフデータを直接処理できない完全なグラフに基づいて設計されている。 本研究では,属性不完全グラフ表現と学習のための部分グラフニューラルネットワーク(PaGNN)を新たに開発した。
  論文  参考訳（メタデータ） (2020-03-23T08:29:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。