論文の概要: Towards Graph Foundation Models: Training on Knowledge Graphs Enables Transferability to General Graphs

• arxiv url: http://arxiv.org/abs/2410.12609v2
• Date: Thu, 15 May 2025 14:27:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 14:06:35.444751
• Title: Towards Graph Foundation Models: Training on Knowledge Graphs Enables Transferability to General Graphs
• Title（参考訳）: グラフ基礎モデルに向けて:知識グラフのトレーニングにより、汎用グラフへの転送可能性を実現する
• Authors: Kai Wang, Siqiang Luo, Caihua Shan, Yifei Shen,
• Abstract要約: 知識グラフをトレーニングするために設計された統合グラフ推論フレームワークであるSCRを紹介する。 本稿では,従来のKG推論における意味的分離に対処する新しいメカニズムであるセマンティックコンディショニングメッセージパッシングを提案する。 以上の結果から,既存の基礎モデルよりも大幅な性能向上が見られた。
• 参考スコア（独自算出の注目度）: 26.477872205199667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inspired by the success of large language models, there is a trend toward developing graph foundation models to conduct diverse downstream tasks in various domains. However, current models often require extra fine-tuning to apply their learned structural and semantic representations to new graphs, which limits their versatility. Recent breakthroughs in zero-shot inductive reasoning on knowledge graphs (KGs), offer us a new perspective on extending KG reasoning to general graph applications. In this paper, we introduce SCR, a unified graph reasoning framework designed to train on knowledge graphs and effectively generalize across a wide range of graph tasks and domains. We begin by designing the task-specific KG structures to establish a unified topology for different task formats. Then we propose semantic-conditioned message passing, a novel mechanism addressing the inherent semantic isolation in traditional KG reasoning, by jointly modeling structural and semantic invariance patterns in graph representations. To demonstrate the effectiveness, we evaluate the inductive reasoning capability of SCR using 38 diverse graph datasets, covering node-level, link-level, and graph-level tasks across multiple domains. Our results show substantial performance gains over existing foundation models and supervised baselines, highlighting the efficacy and adaptability of our approach.
• Abstract（参考訳）: 大規模言語モデルの成功に触発されて、様々な領域で様々な下流タスクを実行するグラフ基盤モデルの開発が進んでいる。 しかし、現在のモデルでは、学習した構造表現と意味表現を新しいグラフに適用するために追加の微調整を必要とすることが多く、その汎用性は制限される。 知識グラフ(KGs)におけるゼロショット帰納的推論の最近のブレークスルーは、一般的なグラフアプリケーションへのKG推論の拡張に関する新しい視点を提供する。 本稿では,知識グラフを学習し,広範囲のグラフタスクやドメインを効果的に一般化する,統一的なグラフ推論フレームワークであるSCRを紹介する。 まず、タスク固有のKG構造を設計し、異なるタスクフォーマットの統一トポロジを確立する。 次に,従来のKG推論における意味的分離に対処する新しいメカニズムである意味的条件付きメッセージパッシングを提案し,グラフ表現における構造的および意味的不変性パターンを共同でモデル化する。 有効性を示すために,38種類のグラフデータセットを用いてSCRの帰納的推論能力を評価し,ノードレベル,リンクレベル,グラフレベルのタスクを複数領域にわたってカバーした。 その結果,既存の基盤モデルと教師付きベースラインよりもかなりの性能向上を示し,アプローチの有効性と適応性を強調した。

関連論文リスト

• Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
  グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。 このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。 また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-01T08:48:53Z)
• Towards Graph Foundation Models: Learning Generalities Across Graphs via Task-Trees [50.78679002846741]
  グラフにおけるクロスタスクの一般性を学習するための新しいアプローチを提案する。 グラフ上のタスク空間を整列させるための基本的な学習インスタンスとしてタスクツリーを提案する。 その結果,グラフニューラルネットワークが多種多様なタスクツリーで事前訓練された場合,伝達可能な知識を取得することが示唆された。
  論文  参考訳（メタデータ） (2024-12-21T02:07:43Z)
• Expressivity of Representation Learning on Continuous-Time Dynamic Graphs: An Information-Flow Centric Review [2.310679096120274]
  本稿では,連続時間動的グラフ(CTDG)モデルにおけるグラフ表現学習(GRL)について概観する。 本稿では,情報フロー(IF)レンズを用いてCTDGモデルの表現性を解析する新しい理論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-05T00:12:50Z)
• Towards Data-centric Machine Learning on Directed Graphs: a Survey [23.498557237805414]
  本稿では,有向グラフ学習研究のための新しい分類法を提案する。 我々はこれらの手法をデータ中心の観点から再検討し、データ表現の理解と改善に重点を置いている。 我々はこの分野における主要な機会と課題を特定し、有向グラフ学習における将来の研究と開発を導く洞察を提供する。
  論文  参考訳（メタデータ） (2024-11-28T06:09:12Z)
• A Hierarchical Language Model For Interpretable Graph Reasoning [47.460255447561906]
  ノード中心の局所情報と相互作用中心のグローバル構造を捉えるために2ブロックアーキテクチャを用いる階層型グラフ言語モデル(HLM-G)を導入する。 提案手法は,大規模グラフ処理における計算コストを削減しつつ,高い効率性,効率性,ロバスト性で様々なグラフクエリに対処することを可能にする。 多様なグラフ推論およびノード,リンク,グラフレベルの実世界のタスクに対する総合的な評価は,本手法の優位性を強調している。
  論文  参考訳（メタデータ） (2024-10-29T00:28:02Z)
• Foundations and Frontiers of Graph Learning Theory [81.39078977407719]
  グラフ学習の最近の進歩は、複雑な構造を持つデータを理解し分析する方法に革命をもたらした。 グラフニューラルネットワーク(GNN)、すなわちグラフ表現を学習するために設計されたニューラルネットワークアーキテクチャは、一般的なパラダイムとなっている。 本稿では,グラフ学習モデルに固有の近似と学習行動に関する理論的基礎とブレークスルーについて概説する。
  論文  参考訳（メタデータ） (2024-07-03T14:07:41Z)
• Towards Graph Foundation Models: A Survey and Beyond [66.37994863159861]
  ファンデーションモデルは、さまざまな人工知能アプリケーションにおいて重要なコンポーネントとして現れてきた。 基礎モデルがグラフ機械学習研究者を一般化し、適応させる能力は、新しいグラフ学習パラダイムを開発する可能性について議論する。 本稿では,グラフ基礎モデル(GFM)の概念を紹介し,その重要な特徴と基礎技術について概説する。
  論文  参考訳（メタデータ） (2023-10-18T09:31:21Z)
• Towards Foundation Models for Knowledge Graph Reasoning [18.77355708537997]
  知識グラフ(KG)は、一般に重複しない異なる実体と関係語彙を持つ。 本稿では、普遍的および伝達可能なグラフ表現を学習するためのアプローチであるULTRAを提案する。 様々な大きさの未確認グラフ上の単一事前学習ULTRAモデルのゼロショット帰納的推論性能は、特定のグラフ上で訓練された強いベースラインよりも、しばしば同等かそれ以上である。
  論文  参考訳（メタデータ） (2023-10-06T20:00:07Z)
• Group Contrastive Self-Supervised Learning on Graphs [101.45974132613293]
  グラフ上での自己教師型学習をコントラッシブ手法を用いて研究する。 複数の部分空間におけるグラフの対比により、グラフエンコーダはより豊富な特徴を捉えることができる。
  論文  参考訳（メタデータ） (2021-07-20T22:09:21Z)
• Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
  グラフ組み込み数ショット学習に関する包括的な研究を紹介します。 本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。 提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
  論文  参考訳（メタデータ） (2021-02-14T05:28:13Z)
• Quantifying Challenges in the Application of Graph Representation Learning [0.0]
  私たちは、一般的な埋め込みアプローチのセットに対して、アプリケーション指向の視点を提供します。 実世界のグラフ特性に関する表現力を評価する。 GRLアプローチは現実のシナリオでは定義が困難であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-18T03:19:43Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Principal Neighbourhood Aggregation for Graph Nets [4.339839287869653]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データ上の様々な予測タスクに有効なモデルであることが示されている。 表現力に関する最近の研究は同型タスクと可算特徴空間に焦点を当てている。 我々はこの理論フレームワークを拡張し、現実世界の入力領域で定期的に発生する連続的な特徴を含める。
  論文  参考訳（メタデータ） (2020-04-12T23:30:00Z)
• Goal-directed graph construction using reinforcement learning [3.291429094499946]
  我々は、中央エージェントが試行錯誤によってトポロジを生成する決定過程としてグラフの構築を定式化する。 グラフ構築と改善戦略を学習するための強化学習とグラフニューラルネットワークに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-30T12:11:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。