論文の概要: Position: Graph Foundation Models are Already Here

• arxiv url: http://arxiv.org/abs/2402.02216v3
• Date: Thu, 30 May 2024 22:38:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 20:12:03.965141
• Title: Position: Graph Foundation Models are Already Here
• Title（参考訳）: グラフファウンデーションのモデルはすでにここにある
• Authors: Haitao Mao, Zhikai Chen, Wenzhuo Tang, Jianan Zhao, Yao Ma, Tong Zhao, Neil Shah, Mikhail Galkin, Jiliang Tang,
• Abstract要約: グラフ基礎モデル(GFM)は、グラフ領域において重要な研究トピックとして浮上している。 グラフ語彙の提唱によるGFM開発のための新しい視点」を提案する。 この観点は、将来のGFM設計を、ニューラルネットワークのスケーリング法則に従って前進させる可能性がある。
• 参考スコア（独自算出の注目度）: 53.737868336014735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Foundation Models (GFMs) are emerging as a significant research topic in the graph domain, aiming to develop graph models trained on extensive and diverse data to enhance their applicability across various tasks and domains. Developing GFMs presents unique challenges over traditional Graph Neural Networks (GNNs), which are typically trained from scratch for specific tasks on particular datasets. The primary challenge in constructing GFMs lies in effectively leveraging vast and diverse graph data to achieve positive transfer. Drawing inspiration from existing foundation models in the CV and NLP domains, we propose a novel perspective for the GFM development by advocating for a ``graph vocabulary'', in which the basic transferable units underlying graphs encode the invariance on graphs. We ground the graph vocabulary construction from essential aspects including network analysis, expressiveness, and stability. Such a vocabulary perspective can potentially advance the future GFM design in line with the neural scaling laws. All relevant resources with GFM design can be found here.
• Abstract（参考訳）: グラフファウンデーションモデル(GFM)はグラフ領域において重要な研究トピックとして現れており、様々なタスクやドメインにわたる適用性を高めるために、広範囲で多様なデータに基づいてトレーニングされたグラフモデルの開発を目指している。 GFMの開発は従来のグラフニューラルネットワーク(GNN)に対して独自の課題を提示している。 GFMを構築する上での最大の課題は、膨大な多様なグラフデータを効果的に活用してポジティブな転送を実現することである。 CVドメインとNLPドメインの既存の基礎モデルからインスピレーションを得て,グラフ上の不変性を符号化する基本移動可能な単位である `graph vocabulary'' を提唱し,GFM開発の新たな視点を提案する。 我々は,ネットワーク分析,表現性,安定性などの重要な側面から,グラフ語彙の構成を定めている。 このような語彙的観点は、将来のGFM設計を、ニューラルネットワークのスケーリング法則に従って前進させる可能性がある。 GFM設計に関するすべての関連リソースはここにある。

関連論文リスト

• GFT: Graph Foundation Model with Transferable Tree Vocabulary [52.17804507458509]
  本稿では,木語彙を伝達可能なグラフファウンデーションモデルとして,GFTと命名されたクロスタスク・クロスドメイングラフ基盤モデルを提案する。 変換可能な語彙内で計算木をトークンとして扱うことにより、GFTはモデルの一般化を改善し、負の転送のリスクを低減する。 理論解析と広範な実験的研究により,グラフ学習におけるGFTの有効性が実証され,様々なタスクや領域にまたがるGFTの有効性が示された。
  論文  参考訳（メタデータ） (2024-11-09T05:14:30Z)
• LangGFM: A Large Language Model Alone Can be a Powerful Graph Foundation Model [27.047809869136458]
  グラフ基礎モデル(GFM)が最近注目を集めている。 現在の研究は、グラフ学習タスクの特定のサブセットに焦点を当てる傾向がある。 GFMBenchは26のデータセットからなる体系的で包括的なベンチマークである。 また,大規模言語モデルに完全に依存する新しいGFMであるLangGFMを紹介する。
  論文  参考訳（メタデータ） (2024-10-19T03:27:19Z)
• A Survey on Self-Supervised Graph Foundation Models: Knowledge-Based Perspective [14.403179370556332]
  グラフ自己教師型学習(SSL)は、グラフ基礎モデル(GFM)を事前学習するためのゴートメソッドとなった 本稿では,自己教師付きグラフモデルを用いた知識に基づく分類法を提案する。
  論文  参考訳（メタデータ） (2024-03-24T13:10:09Z)
• UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
  Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。 本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。 本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
  論文  参考訳（メタデータ） (2024-02-21T09:06:31Z)
• Graph Domain Adaptation: Challenges, Progress and Prospects [61.9048172631524]
  本稿では,グラフ間の効果的な知識伝達パラダイムとしてグラフ領域適応を提案する。 GDAは、ソースグラフとしてタスク関連のグラフを多数導入し、ソースグラフから学習した知識をターゲットグラフに適応させる。 研究状況と課題について概説し、分類学を提案し、代表作の詳細を紹介し、今後の展望について論じる。
  論文  参考訳（メタデータ） (2024-02-01T02:44:32Z)
• Towards Graph Foundation Models: A Survey and Beyond [66.37994863159861]
  ファンデーションモデルは、さまざまな人工知能アプリケーションにおいて重要なコンポーネントとして現れてきた。 基礎モデルがグラフ機械学習研究者を一般化し、適応させる能力は、新しいグラフ学習パラダイムを開発する可能性について議論する。 本稿では,グラフ基礎モデル(GFM)の概念を紹介し,その重要な特徴と基礎技術について概説する。
  論文  参考訳（メタデータ） (2023-10-18T09:31:21Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。