Fugu-MT 論文翻訳(概要): GMLM: Bridging Graph Neural Networks and Language Models for Heterophilic Node Classification

論文の概要: GMLM: Bridging Graph Neural Networks and Language Models for Heterophilic Node Classification

arxiv url: http://arxiv.org/abs/2503.05763v3
Date: Mon, 02 Jun 2025 08:42:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-03 16:22:43.181102
Title: GMLM: Bridging Graph Neural Networks and Language Models for Heterophilic Node Classification
Title（参考訳）: GMLM: 好ましくないノード分類のためのグラフニューラルネットワークと言語モデル
Authors: Aarush Sinha, OM Kumar CU,
Abstract要約: 我々は,グラフニューラルネットワーク (GNN) と事前学習言語モデル (PLM) を効率的に組み合わせた新しいアーキテクチャである textbfGraph Masked Language Model (GMLM) を提案する。 GMLMは3つの重要なイノベーションを紹介している: (i) スケーラブルなPLMテキスト処理のためのtextbfdynamic 能動ノード選択戦略; (ii) 学習可能なグラフtextt[MASK]トークンによるソフトマスクを用いたGNN固有のtextbfcontrastive pretrainingステージ; (iii) テキストbfdicated fusion。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Integrating structured graph data with rich textual information from nodes poses a significant challenge, particularly for heterophilic node classification. Current approaches often struggle with computational costs or effective fusion of disparate modalities. We propose \textbf{Graph Masked Language Model (GMLM)}, a novel architecture efficiently combining Graph Neural Networks (GNNs) with Pre-trained Language Models (PLMs). GMLM introduces three key innovations: (i) a \textbf{dynamic active node selection} strategy for scalable PLM text processing; (ii) a GNN-specific \textbf{contrastive pretraining stage} using soft masking with a learnable graph \texttt{[MASK]} token for robust structural representations; and (iii) a \textbf{dedicated fusion module} integrating RGCN-based GNN embeddings with PLM (GTE-Small \& DistilBERT) embeddings. Extensive experiments on heterophilic benchmarks (Cornell, Wisconsin, Texas) demonstrate GMLM's superiority. Notably, GMLM(DistilBERT) achieves significant performance gains, improving accuracy by over \textbf{4.7\%} on Cornell and over \textbf{2.0\%} on Texas compared to the previous best-performing baselines. This work underscores the benefits of targeted PLM engagement and modality-specific pretraining for improved, efficient learning on text-rich graphs.
Abstract（参考訳）: 構造化グラフデータとノードからの豊富なテキスト情報を統合することは、特に異種ノード分類において大きな課題となる。現在のアプローチは、計算コストや異なるモダリティの効果的な融合にしばしば苦労している。本稿では,グラフニューラルネットワーク(GNN)と事前学習言語モデル(PLM)を効率的に組み合わせた新しいアーキテクチャである,GMLM(textbf{Graph Masked Language Model)を提案する。 GMLMは3つの重要なイノベーションを紹介します。 i)スケーラブルPLMテキスト処理のための \textbf{dynamic active node selection} 戦略 (II) 頑健な構造表現のための学習可能なグラフ \texttt{[MASK]} トークンを用いたソフトマスクを用いたGNN固有の \textbf{contrastive pretraining stage} (iii) RGCN ベースの GNN 埋め込みを PLM (GTE-Small \& DistilBERT) 埋め込みと統合した \textbf{dedicated fusion module} 。ヘテロ親水性ベンチマーク(コーネル、ウィスコンシン、テキサス)の大規模な実験は、GMLMの優位性を示している。特に、GMLM(DistilBERT) は、コーネルで \textbf{4.7\%} 、テキサスで \textbf{2.0\%} を上回り、以前の最高のパフォーマンスベースラインと比較して精度を向上する。この研究は、テキストリッチグラフにおける改善された効率的な学習のためのターゲットPLMエンゲージメントとモダリティ特化事前学習の利点を浮き彫りにする。

関連論文リスト

Integrating Structural and Semantic Signals in Text-Attributed Graphs with BiGTex [0.16385815610837165]
BiGTexは、スタック化されたGraph-Text Fusion Unitを通じてGNNとLLMを密に統合する新しいアーキテクチャである。 BiGTexはノード分類における最先端性能を実現し、リンク予測に効果的に一般化する。
論文参考訳（メタデータ） (2025-04-16T20:25:11Z)
LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models [54.82915844507371]
Text-Attributed Graphs (TAG) は、現実のシナリオにおいてユビキタスである。大規模言語モデル(LLMs)とグラフニューラルネットワーク(GNNs)をTAGsに統合する努力にもかかわらず、既存のアプローチは分離されたアーキテクチャに悩まされている。本稿では,グラフ語彙学習に基づくTAGのための汎用GFMであるPromptGFMを提案する。
論文参考訳（メタデータ） (2025-03-05T09:45:22Z)
Deep Semantic Graph Learning via LLM based Node Enhancement [5.312946761836463]
大規模言語モデル(LLM)は、テキストセマンティクスを理解する上で優れた能力を示している。本稿では,グラフトランスフォーマーアーキテクチャとLLM拡張ノード機能を組み合わせた新しいフレームワークを提案する。
論文参考訳（メタデータ） (2025-02-11T21:55:46Z)
Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision? [62.12375949429938]
CLIPパイプラインによる転送可能なグラフニューラルネットワーク(GNN)の構築は、3つの根本的な問題のために難しい。我々は、マルチモーダル・プロンプト・ラーニングを利用して、事前学習したGNNを下流のタスクやデータに効果的に適応させる。我々の新しいパラダイムは、グラフプロンプトとテキストプロンプトの両方を同時に学習することで、Large Language Models(LLM)と直接同じ空間にグラフを埋め込む。
論文参考訳（メタデータ） (2024-12-11T08:03:35Z)
Bridging Large Language Models and Graph Structure Learning Models for Robust Representation Learning [22.993015048941444]
グラフ表現学習は現実世界のアプリケーションには不可欠だが、広範にわたるノイズに遭遇することが多い。本稿では,事前学習された言語モデルとグラフ構造学習モデルの相補的な長所を統合するフレームワークであるLangGSLを紹介する。
論文参考訳（メタデータ） (2024-10-15T22:43:32Z)
How to Make LLMs Strong Node Classifiers? [70.14063765424012]
言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
論文参考訳（メタデータ） (2024-10-03T08:27:54Z)
A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文参考訳（メタデータ） (2024-06-19T22:30:08Z)
Multi-View Empowered Structural Graph Wordification for Language Models [12.22063024099311]
本稿では,LLM-graphアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的' を理解可能な自然言語に効果的に翻訳することができる。我々のフレームワークは、LLMとGNN間のトークンレベルのアライメントを実現するための、有望な試みである、ある視覚的解釈可能性、効率、堅牢性を保証する。
論文参考訳（メタデータ） (2024-06-19T16:43:56Z)
Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文参考訳（メタデータ） (2024-04-28T18:36:59Z)
GraphEdit: Large Language Models for Graph Structure Learning [14.16155596597421]
グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
論文参考訳（メタデータ） (2024-02-23T08:29:42Z)
Graph Language Models [18.75364157933661]
両アプローチの長所を統合し,その短所を緩和する新しいLM型であるグラフ言語モデル(GLM)を導入する。我々はGLMのアーキテクチャを設計し、グラフバイアスを取り入れ、グラフ内の効果的な知識分布を促進する。関係分類タスクに関する実証的な評価は、GLM埋め込みが、教師付きおよびゼロショット設定におけるLMベースラインとGNNベースベースラインの両方を上回っていることを示している。
論文参考訳（メタデータ） (2024-01-13T16:09:49Z)
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文参考訳（メタデータ） (2021-05-06T12:20:41Z)
Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。