Fugu-MT 論文翻訳(概要): GMLM: Bridging Graph Neural Networks and Language Models for Heterophilic Node Classification

論文の概要: GMLM: Bridging Graph Neural Networks and Language Models for Heterophilic Node Classification

arxiv url: http://arxiv.org/abs/2503.05763v3
Date: Mon, 02 Jun 2025 08:42:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-03 16:22:43.181102
Title: GMLM: Bridging Graph Neural Networks and Language Models for Heterophilic Node Classification
Title（参考訳）: GMLM: 好ましくないノード分類のためのグラフニューラルネットワークと言語モデル
Authors: Aarush Sinha, OM Kumar CU,
Abstract要約: 我々は,グラフニューラルネットワーク (GNN) と事前学習言語モデル (PLM) を効率的に組み合わせた新しいアーキテクチャである textbfGraph Masked Language Model (GMLM) を提案する。 GMLMは3つの重要なイノベーションを紹介している: (i) スケーラブルなPLMテキスト処理のためのtextbfdynamic 能動ノード選択戦略; (ii) 学習可能なグラフtextt[MASK]トークンによるソフトマスクを用いたGNN固有のtextbfcontrastive pretrainingステージ; (iii) テキストbfdicated fusion。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Integrating structured graph data with rich textual information from nodes poses a significant challenge, particularly for heterophilic node classification. Current approaches often struggle with computational costs or effective fusion of disparate modalities. We propose \textbf{Graph Masked Language Model (GMLM)}, a novel architecture efficiently combining Graph Neural Networks (GNNs) with Pre-trained Language Models (PLMs). GMLM introduces three key innovations: (i) a \textbf{dynamic active node selection} strategy for scalable PLM text processing; (ii) a GNN-specific \textbf{contrastive pretraining stage} using soft masking with a learnable graph \texttt{[MASK]} token for robust structural representations; and (iii) a \textbf{dedicated fusion module} integrating RGCN-based GNN embeddings with PLM (GTE-Small \& DistilBERT) embeddings. Extensive experiments on heterophilic benchmarks (Cornell, Wisconsin, Texas) demonstrate GMLM's superiority. Notably, GMLM(DistilBERT) achieves significant performance gains, improving accuracy by over \textbf{4.7\%} on Cornell and over \textbf{2.0\%} on Texas compared to the previous best-performing baselines. This work underscores the benefits of targeted PLM engagement and modality-specific pretraining for improved, efficient learning on text-rich graphs.
Abstract（参考訳）: 構造化グラフデータとノードからの豊富なテキスト情報を統合することは、特に異種ノード分類において大きな課題となる。現在のアプローチは、計算コストや異なるモダリティの効果的な融合にしばしば苦労している。本稿では,グラフニューラルネットワーク(GNN)と事前学習言語モデル(PLM)を効率的に組み合わせた新しいアーキテクチャである,GMLM(textbf{Graph Masked Language Model)を提案する。 GMLMは3つの重要なイノベーションを紹介します。 i)スケーラブルPLMテキスト処理のための \textbf{dynamic active node selection} 戦略 (II) 頑健な構造表現のための学習可能なグラフ \texttt{[MASK]} トークンを用いたソフトマスクを用いたGNN固有の \textbf{contrastive pretraining stage} (iii) RGCN ベースの GNN 埋め込みを PLM (GTE-Small \& DistilBERT) 埋め込みと統合した \textbf{dedicated fusion module} 。ヘテロ親水性ベンチマーク(コーネル、ウィスコンシン、テキサス)の大規模な実験は、GMLMの優位性を示している。特に、GMLM(DistilBERT) は、コーネルで \textbf{4.7\%} 、テキサスで \textbf{2.0\%} を上回り、以前の最高のパフォーマンスベースラインと比較して精度を向上する。この研究は、テキストリッチグラフにおける改善された効率的な学習のためのターゲットPLMエンゲージメントとモダリティ特化事前学習の利点を浮き彫りにする。

関連論文リスト

Integrating Structural and Semantic Signals in Text-Attributed Graphs with BiGTex [0.16385815610837165]
BiGTexは、スタック化されたGraph-Text Fusion Unitを通じてGNNとLLMを密に統合する新しいアーキテクチャである。 BiGTexはノード分類における最先端性能を実現し、リンク予測に効果的に一般化する。
論文参考訳（メタデータ） (2025-04-16T20:25:11Z)
LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models [54.82915844507371]
Text-Attributed Graphs (TAG) は、現実のシナリオにおいてユビキタスである。大規模言語モデル(LLMs)とグラフニューラルネットワーク(GNNs)をTAGsに統合する努力にもかかわらず、既存のアプローチは分離されたアーキテクチャに悩まされている。本稿では,グラフ語彙学習に基づくTAGのための汎用GFMであるPromptGFMを提案する。
論文参考訳（メタデータ） (2025-03-05T09:45:22Z)
Deep Semantic Graph Learning via LLM based Node Enhancement [5.312946761836463]
大規模言語モデル(LLM)は、テキストセマンティクスを理解する上で優れた能力を示している。本稿では,グラフトランスフォーマーアーキテクチャとLLM拡張ノード機能を組み合わせた新しいフレームワークを提案する。
論文参考訳（メタデータ） (2025-02-11T21:55:46Z)
GIMS: Image Matching System Based on Adaptive Graph Construction and Graph Neural Network [7.556253645434246]
本稿では,距離と動的しきい値の類似性に基づくフィルタリング機構を利用する,革新的な適応グラフ構築手法を提案する。また、トランスフォーマーのグローバルな認識能力を組み合わせて、グラフ構造の表現を強化する。システム全体のマッチング性能は平均3.8x-40.3x向上した。
論文参考訳（メタデータ） (2024-12-24T07:05:55Z)
Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision? [62.12375949429938]
CLIPパイプラインによる転送可能なグラフニューラルネットワーク(GNN)の構築は、3つの根本的な問題のために難しい。我々は、マルチモーダル・プロンプト・ラーニングを利用して、事前学習したGNNを下流のタスクやデータに効果的に適応させる。我々の新しいパラダイムは、グラフプロンプトとテキストプロンプトの両方を同時に学習することで、Large Language Models(LLM)と直接同じ空間にグラフを埋め込む。
論文参考訳（メタデータ） (2024-12-11T08:03:35Z)
GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model [63.774726052837266]
グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を深く統合した新しいアーキテクチャを導入する。本稿では,(1)GNNのメッセージパッシング機能を直接LLMのトランスフォーマー層に組み込む構造対応トランスフォーマー,(2)グラフノードとエッジから圧縮されていない全テキストを処理するグラフテキストクロスアテンション,(3)GNN-LLMツインプレクタ,(3)GNN-LLMツインプレクタ,3)GNNのスケーラブルなワンパス予測とともに,LLMの柔軟な自己回帰生成を実現する。
論文参考訳（メタデータ） (2024-12-08T05:49:58Z)
Bridging Large Language Models and Graph Structure Learning Models for Robust Representation Learning [22.993015048941444]
グラフ表現学習は現実世界のアプリケーションには不可欠だが、広範にわたるノイズに遭遇することが多い。本稿では,事前学習された言語モデルとグラフ構造学習モデルの相補的な長所を統合するフレームワークであるLangGSLを紹介する。
論文参考訳（メタデータ） (2024-10-15T22:43:32Z)
How to Make LLMs Strong Node Classifiers? [70.14063765424012]
言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
論文参考訳（メタデータ） (2024-10-03T08:27:54Z)
GRE^2-MDCL: Graph Representation Embedding Enhanced via Multidimensional Contrastive Learning [0.0]
グラフ表現学習は、ノードをベクトル表現にマッピングする際にグラフトポロジを保存する強力なツールとして登場した。現在のグラフニューラルネットワークモデルは、広範なラベル付きデータを必要とするという課題に直面している。多次元コントラスト学習によるグラフ表現埋め込みを提案する。
論文参考訳（メタデータ） (2024-09-12T03:09:05Z)
All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文参考訳（メタデータ） (2024-07-20T22:09:42Z)
A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文参考訳（メタデータ） (2024-06-19T22:30:08Z)
Multi-View Empowered Structural Graph Wordification for Language Models [12.22063024099311]
本稿では,LLM-graphアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的' を理解可能な自然言語に効果的に翻訳することができる。我々のフレームワークは、LLMとGNN間のトークンレベルのアライメントを実現するための、有望な試みである、ある視覚的解釈可能性、効率、堅牢性を保証する。
論文参考訳（メタデータ） (2024-06-19T16:43:56Z)
Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文参考訳（メタデータ） (2024-04-28T18:36:59Z)
GraphEdit: Large Language Models for Graph Structure Learning [14.16155596597421]
グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
論文参考訳（メタデータ） (2024-02-23T08:29:42Z)
Graph Language Models [18.75364157933661]
両アプローチの長所を統合し,その短所を緩和する新しいLM型であるグラフ言語モデル(GLM)を導入する。我々はGLMのアーキテクチャを設計し、グラフバイアスを取り入れ、グラフ内の効果的な知識分布を促進する。関係分類タスクに関する実証的な評価は、GLM埋め込みが、教師付きおよびゼロショット設定におけるLMベースラインとGNNベースベースラインの両方を上回っていることを示している。
論文参考訳（メタデータ） (2024-01-13T16:09:49Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Efficient and effective training of language and graph neural network models [36.00479096375565]
我々は,大規模言語モデルとグラフニューラルネットワークを協調的に学習する,効率的な言語モデルGNN(LM-GNN)を提案する。本フレームワークの有効性は、BERTモデルの段階的微調整をまず異種グラフ情報に適用し、次にGNNモデルを用いて達成する。我々は,LM-GNNフレームワークを異なるデータセットの性能で評価し,提案手法の有効性を示す。
論文参考訳（メタデータ） (2022-06-22T00:23:37Z)
A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-16T22:46:33Z)
Mixed Graph Contrastive Network for Semi-Supervised Node Classification [63.924129159538076]
我々はMixed Graph Contrastive Network(MGCN)と呼ばれる新しいグラフコントラスト学習手法を提案する。本研究では,非摂動増強戦略と相関還元機構により,潜伏埋め込みの識別能力を向上する。これら2つの設定を組み合わせることで、識別表現学習のために、豊富なノードと稀に価値あるラベル付きノードの両方から、豊富な監視情報を抽出する。
論文参考訳（メタデータ） (2022-06-06T14:26:34Z)
MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
論文参考訳（メタデータ） (2022-01-07T16:48:07Z)
Improving the Training of Graph Neural Networks with Consistency Regularization [9.239633445211574]
グラフニューラルネットワークの性能向上には,一貫性の正則化が有効かを検討する。整合正則化法を2つの最先端GNNと組み合わせ、ogbn-productsデータセット上で実験を行う。一貫性の正則化により、ogbn-productsデータセットでは、最先端のGNNのパフォーマンスが0.3%向上する。
論文参考訳（メタデータ） (2021-12-08T14:51:30Z)
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文参考訳（メタデータ） (2021-05-06T12:20:41Z)
Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。