論文の概要: Towards Graph Foundation Models: A Study on the Generalization of Positional and Structural Encodings

• arxiv url: http://arxiv.org/abs/2412.07407v1
• Date: Tue, 10 Dec 2024 10:58:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:36:16.988218
• Title: Towards Graph Foundation Models: A Study on the Generalization of Positional and Structural Encodings
• Title（参考訳）: グラフ基礎モデルに向けて:位置エンコーディングと構造エンコーディングの一般化に関する研究
• Authors: Billy Joe Franks, Moshe Eliasof, Semih Cantürk, Guy Wolf, Carola-Bibiane Schönlieb, Sophie Fellenz, Marius Kloft,
• Abstract要約: 位置的および構造的符号化(PSE)がグラフニューラルネットワーク(GNN)に統合された 本稿では,様々なグラフデータセット間での学習可能なPSEの微調整効率,サンプルサイズによるスケーラビリティ,一般化,能力について検討する。
• 参考スコア（独自算出の注目度）: 36.58861528662219
• License:
• Abstract: Recent advances in integrating positional and structural encodings (PSEs) into graph neural networks (GNNs) have significantly enhanced their performance across various graph learning tasks. However, the general applicability of these encodings and their potential to serve as foundational representations for graphs remain uncertain. This paper investigates the fine-tuning efficiency, scalability with sample size, and generalization capability of learnable PSEs across diverse graph datasets. Specifically, we evaluate their potential as universal pre-trained models that can be easily adapted to new tasks with minimal fine-tuning and limited data. Furthermore, we assess the expressivity of the learned representations, particularly, when used to augment downstream GNNs. We demonstrate through extensive benchmarking and empirical analysis that PSEs generally enhance downstream models. However, some datasets may require specific PSE-augmentations to achieve optimal performance. Nevertheless, our findings highlight their significant potential to become integral components of future graph foundation models. We provide new insights into the strengths and limitations of PSEs, contributing to the broader discourse on foundation models in graph learning.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)への位置符号化と構造符号化(PSE)の統合の最近の進歩は、様々なグラフ学習タスクにおいて、その性能を著しく向上させてきた。 しかし、これらのエンコーディングの一般適用性や、グラフの基本的な表現として機能する可能性については、いまだに不明である。 本稿では,様々なグラフデータセットを対象とした学習可能なPSEの微調整効率,サンプルサイズによるスケーラビリティ,一般化能力について検討する。 具体的には、それらのポテンシャルを、最小限の微調整と制限されたデータで、新しいタスクに容易に適応できる、普遍的な事前学習モデルとして評価する。 さらに,学習した表現の表現性,特に下流GNNの増大に用いた場合の表現性を評価する。 我々は、PSEが一般的に下流モデルを強化するような広範なベンチマークと経験的分析を通して実証する。 しかしながら、最適なパフォーマンスを達成するために特定のPSE拡張を必要とするデータセットもある。 それにもかかわらず、我々の発見は、将来のグラフ基盤モデルの不可欠なコンポーネントになる大きな可能性を浮き彫りにしている。 我々は,PSEの強みと限界に対する新たな洞察を提供し,グラフ学習の基礎モデルに関する幅広い議論に寄与する。

関連論文リスト

• Towards Graph Prompt Learning: A Survey and Beyond [38.55555996765227]
  大規模"事前訓練と迅速な学習"パラダイムは、顕著な適応性を示している。 この調査は、この分野における100以上の関連する研究を分類し、一般的な設計原則と最新の応用を要約する。
  論文  参考訳（メタデータ） (2024-08-26T06:36:42Z)
• Towards Graph Foundation Models: A Survey and Beyond [66.37994863159861]
  ファンデーションモデルは、さまざまな人工知能アプリケーションにおいて重要なコンポーネントとして現れてきた。 基礎モデルがグラフ機械学習研究者を一般化し、適応させる能力は、新しいグラフ学習パラダイムを開発する可能性について議論する。 本稿では,グラフ基礎モデル(GFM)の概念を紹介し,その重要な特徴と基礎技術について概説する。
  論文  参考訳（メタデータ） (2023-10-18T09:31:21Z)
• Graph Positional and Structural Encoder [11.647944336315346]
  グラフエンコーダは、任意のGNNを増大させるために、リッチなPSE表現をキャプチャするように設計されている。 GPSEは複数のPSEに対して効率的な共通潜伏表現を学習し、高い転送性を持つ。 GPSEにより強化されたモデルは、明示的に計算されたPSEを使用するモデルよりも大幅に優れており、少なくとも他のモデルではその性能に匹敵することを示す。
  論文  参考訳（メタデータ） (2023-07-14T01:04:18Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• Semantic Graph Neural Network with Multi-measure Learning for Semi-supervised Classification [5.000404730573809]
  近年,グラフニューラルネットワーク(GNN)が注目されている。 近年の研究では、GNNはグラフの複雑な基盤構造に弱いことが示されている。 半教師付き分類のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-04T06:17:11Z)
• Towards a Taxonomy of Graph Learning Datasets [10.151886932716518]
  グラフニューラルネットワーク(GNN)は、基礎となるデータの固有のジオメトリを活用する能力によって、多くの注目を集めている。 本稿では,グラフ摂動の集合を慎重に設計することで,グラフベンチマークデータセットを分類する手法を提案する。 データ駆動によるグラフデータセットの分類は、重要なデータセット特性の新たな理解を提供する。
  論文  参考訳（メタデータ） (2021-10-27T23:08:01Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
  グラフ組み込み数ショット学習に関する包括的な研究を紹介します。 本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。 提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
  論文  参考訳（メタデータ） (2021-02-14T05:28:13Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Quantifying Challenges in the Application of Graph Representation Learning [0.0]
  私たちは、一般的な埋め込みアプローチのセットに対して、アプリケーション指向の視点を提供します。 実世界のグラフ特性に関する表現力を評価する。 GRLアプローチは現実のシナリオでは定義が困難であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-18T03:19:43Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。