Fugu-MT 論文翻訳(概要): Relation-Aware Graph Foundation Model

論文の概要: Relation-Aware Graph Foundation Model

arxiv url: http://arxiv.org/abs/2505.12027v1
Date: Sat, 17 May 2025 14:34:41 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-20 14:57:10.996843
Title: Relation-Aware Graph Foundation Model
Title（参考訳）: リレーショナル・アウェア・グラフ基礎モデル
Authors: Jianxiang Yu, Jiapeng Zhu, Hao Qian, Ziqi Liu, Zhiqiang Zhang, Xiang Li,
Abstract要約: グラフ基礎モデル (GFMs) がグラフ学習において有望な方向として登場した。明示的なトークン表現に依存する言語モデルとは異なり、グラフは一般化のための明確に定義された単位を持たない。 GFMの基本単位として関係トークンを利用する新しいフレームワークREEFを提案する。
参考スコア（独自算出の注目度）: 21.86954503656643
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In recent years, large language models (LLMs) have demonstrated remarkable generalization capabilities across various natural language processing (NLP) tasks. Similarly, graph foundation models (GFMs) have emerged as a promising direction in graph learning, aiming to generalize across diverse datasets through large-scale pre-training. However, unlike language models that rely on explicit token representations, graphs lack a well-defined unit for generalization, making it challenging to design effective pre-training strategies. In this work, we propose REEF, a novel framework that leverages relation tokens as the basic units for GFMs. Inspired by the token vocabulary in LLMs, we construct a relation vocabulary of relation tokens to store relational information within graphs. To accommodate diverse relations, we introduce two hypernetworks that adaptively generate the parameters of aggregators and classifiers in graph neural networks based on relation tokens. In addition, we design another hypernetwork to construct dataset-specific projectors and incorporate a dataset-level feature bias into the initial node representations, enhancing flexibility across different datasets with the same relation. Further, we adopt graph data augmentation and a mixed-dataset pre-training strategy, allowing REEF to capture relational diversity more effectively and exhibit strong generalization capabilities. Extensive experiments show that REEF significantly outperforms existing methods on both pre-training and transfer learning tasks, underscoring its potential as a powerful foundation model for graph-based applications.
Abstract（参考訳）: 近年,様々な自然言語処理(NLP)タスクに対して,大規模言語モデル(LLM)が顕著な一般化能力を示した。グラフ基礎モデル(GFM)もグラフ学習において有望な方向として現れ、大規模な事前学習を通じて多様なデータセットをまたいだ一般化を目指している。しかし、明示的なトークン表現に依存する言語モデルとは異なり、グラフは一般化のための明確な単位を欠いているため、効果的な事前学習戦略を設計することは困難である。本稿では,GFMの基本単位として関係トークンを利用する新しいフレームワークであるREEFを提案する。 LLMにおけるトークン語彙に着想を得て,関係トークンの関係語彙を構築し,関係情報をグラフ内に格納する。本稿では,関係トークンに基づくグラフニューラルネットワークにおいて,アグリゲータと分類器のパラメータを適応的に生成する2つのハイパーネットワークを導入する。さらに、データセット固有のプロジェクタを構築し、データセットレベルの特徴バイアスを初期ノード表現に組み込むことで、同じ関係で異なるデータセット間の柔軟性を向上させるために、別のハイパーネットワークを設計する。さらに、グラフデータ拡張と混合データセット事前学習戦略を採用し、REEFがより効果的にリレーショナル多様性をキャプチャし、強力な一般化能力を示す。大規模な実験により、REEFは事前学習と移行学習の両方において既存の手法よりも大幅に優れており、グラフベースのアプリケーションの強力な基盤モデルとしての可能性を示している。

関連論文リスト

Towards Graph Foundation Models: Learning Generalities Across Graphs via Task-Trees [50.78679002846741]
グラフにおけるクロスタスクの一般性を学習するための新しいアプローチを提案する。グラフ上のタスク空間を整列させるための基本的な学習インスタンスとしてタスクツリーを提案する。その結果,グラフニューラルネットワークが多種多様なタスクツリーで事前訓練された場合,伝達可能な知識を取得することが示唆された。
論文参考訳（メタデータ） (2024-12-21T02:07:43Z)
Graph Learning in the Era of LLMs: A Survey from the Perspective of Data, Models, and Tasks [25.720233631885726]
グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)の統合は、有望な技術パラダイムとして現れている。データ品質を根本的に向上させるために、リッチなセマンティックコンテキストを持つグラフ記述テキストを活用します。この研究は、グラフ学習方法論の進歩を目指す研究者や実践者にとって、基礎的な参考となる。
論文参考訳（メタデータ） (2024-12-17T01:41:17Z)
How to Make LLMs Strong Node Classifiers? [70.14063765424012]
言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
論文参考訳（メタデータ） (2024-10-03T08:27:54Z)
A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文参考訳（メタデータ） (2024-06-19T22:30:08Z)
UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
論文参考訳（メタデータ） (2024-02-21T09:06:31Z)
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文参考訳（メタデータ） (2021-05-06T12:20:41Z)
GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-06-17T16:18:35Z)
Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。