論文の概要: Masked Language Models are Good Heterogeneous Graph Generalizers

• arxiv url: http://arxiv.org/abs/2506.06157v1
• Date: Fri, 06 Jun 2025 15:21:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.529717
• Title: Masked Language Models are Good Heterogeneous Graph Generalizers
• Title（参考訳）: Masked Language Models is Good Heterogeneous Graph Generalizers
• Authors: Jinyu Yang, Cheng Yang, Shanyuan Cui, Zeyuan Guo, Liangwei Yang, Muhan Zhang, Chuan Shi,
• Abstract要約: Masked Language Modeling-based method - Masked Language Modeling-based method 本稿では,シンプルだが効果的なマスケプド言語モデリング手法を提案する。 HGトークンの代わりにメタパスベースのテキストシーケンスを使用して、構造的および意味的な情報を抽出する。
• 参考スコア（独自算出の注目度）: 54.42184173650261
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heterogeneous graph neural networks (HGNNs) excel at capturing structural and semantic information in heterogeneous graphs (HGs), while struggling to generalize across domains and tasks. Recently, some researchers have turned to integrating HGNNs with large language models (LLMs) for more generalizable heterogeneous graph learning. However, these approaches typically extract structural information via HGNNs as HG tokens, and disparities in embedding spaces between HGNNs and LLMs have been shown to bias the LLM's comprehension of HGs. Moreover, as these HG tokens are often derived from node-level tasks, the model's ability to generalize across tasks remains limited. To this end, we propose a simple yet effective Masked Language Modeling-based method, called MLM4HG. MLM4HG introduces metapath-based textual sequences instead of HG tokens to extract structural and semantic information inherent in HGs, and designs customized textual templates to unify different graph tasks into a coherent cloze-style "mask" token prediction paradigm. Specifically, MLM4HG first converts HGs from various domains to texts based on metapaths, and subsequently combines them with the unified task texts to form a HG-based corpus. Moreover, the corpus is fed into a pretrained LM for fine-tuning with a constrained target vocabulary, enabling the fine-tuned LM to generalize to unseen target HGs. Extensive cross-domain and multi-task experiments on four real-world datasets demonstrate the superior generalization performance of MLM4HG over state-of-the-art methods in both few-shot and zero-shot scenarios. Our code is available at https://github.com/BUPT-GAMMA/MLM4HG.
• Abstract（参考訳）: ヘテロジニアスグラフニューラルネットワーク(HGNN)は、ヘテロジニアスグラフ(HGs)における構造的および意味的な情報を捉えるのに優れ、ドメインやタスクをまたいだ一般化に苦慮している。 近年、より一般化可能なヘテロジニアスグラフ学習のために、HGNNを大規模言語モデル(LLM)に統合する研究者もいる。 しかしながら、これらの手法は一般的にHGNNをHGトークンとして構造情報を抽出し、HGNNとLLM間の埋め込み空間における格差は、LLMのHGの理解に偏っていることが示されている。 さらに、これらのHGトークンはノードレベルのタスクからしばしば引き出されるため、タスクをまたいで一般化するモデルの能力は限定的のままである。 そこで本研究では,MLM4HGと呼ばれる,シンプルで効果的なマスケッド言語モデリング手法を提案する。 MLM4HGはHGトークンの代わりにメタパスベースのテキストシーケンスを導入し、HGに固有の構造的および意味的な情報を抽出し、異なるグラフタスクをコヒーレントなクローゼスタイルの"マスク"トークン予測パラダイムに統合するためのカスタマイズされたテキストテンプレートを設計する。 具体的には、MLM4HGはまず、様々なドメインからメタパスに基づくテキストに変換し、その後、統一されたタスクテキストと組み合わせてHGベースのコーパスを形成する。 さらに、コーパスは、制約されたターゲット語彙で微調整するために予め訓練されたLMに供給され、微調整されたLMは、未確認のターゲットHGに一般化することができる。 4つの実世界のデータセットに対する大規模なクロスドメインおよびマルチタスク実験は、少数ショットとゼロショットの両方のシナリオにおける最先端の手法よりも、MLM4HGのより優れた一般化性能を示す。 私たちのコードはhttps://github.com/BUPT-GAMMA/MLM4HGで利用可能です。

関連論文リスト

• LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models [54.82915844507371]
  Text-Attributed Graphs (TAG) は、現実のシナリオにおいてユビキタスである。 大規模言語モデル(LLMs)とグラフニューラルネットワーク(GNNs)をTAGsに統合する努力にもかかわらず、既存のアプローチは分離されたアーキテクチャに悩まされている。 本稿では,グラフ語彙学習に基づくTAGのための汎用GFMであるPromptGFMを提案する。
  論文  参考訳（メタデータ） (2025-03-05T09:45:22Z)
• Model Generalization on Text Attribute Graphs: Principles with Large Language Models [14.657522068231138]
  グラフ学習には大規模言語モデル(LLM)が導入されており、ラベル付きグラフデータが不足しているタスクにゼロショットの一般化の成功を拡大することを目的としている。 本研究では,タスク適応型埋め込みと一般化可能なグラフ情報集約機構に基づく,テキスト分散グラフ(TAG)に対する推論フレームワークを開発する。 11の実世界のTAGベンチマークによる評価は、LLM-BPが既存のアプローチよりも大幅に優れていることを示している。
  論文  参考訳（メタデータ） (2025-02-17T14:31:00Z)
• Deep Semantic Graph Learning via LLM based Node Enhancement [5.312946761836463]
  大規模言語モデル(LLM)は、テキストセマンティクスを理解する上で優れた能力を示している。 本稿では,グラフトランスフォーマーアーキテクチャとLLM拡張ノード機能を組み合わせた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-11T21:55:46Z)
• GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model [63.774726052837266]
  グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を深く統合した新しいアーキテクチャを導入する。 本稿では,(1)GNNのメッセージパッシング機能を直接LLMのトランスフォーマー層に組み込む構造対応トランスフォーマー,(2)グラフノードとエッジから圧縮されていない全テキストを処理するグラフテキストクロスアテンション,(3)GNN-LLMツインプレクタ,(3)GNN-LLMツインプレクタ,3)GNNのスケーラブルなワンパス予測とともに,LLMの柔軟な自己回帰生成を実現する。
  論文  参考訳（メタデータ） (2024-12-08T05:49:58Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Cross-heterogeneity Graph Few-shot Learning [9.80898395055038]
  本稿では,異種間グラフFew-shot Learning,すなわちCGFLの新たなモデルを提案する。 CGFLでは,まず異種情報を取得するメタパターンを抽出する。 そこで我々は,ラベル付きサンプルの情報量を測定するスコアモジュールを提案し,各ソースHGの転送可能性を決定する。
  論文  参考訳（メタデータ） (2023-08-10T01:25:28Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。