論文の概要: NOCL: Node-Oriented Conceptualization LLM for Graph Tasks without Message Passing

• arxiv url: http://arxiv.org/abs/2506.10014v1
• Date: Wed, 28 May 2025 04:48:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 03:13:19.091716
• Title: NOCL: Node-Oriented Conceptualization LLM for Graph Tasks without Message Passing
• Title（参考訳）: NOCL:ノード指向の概念化 LLM for Graph Tasks without Message Passing
• Authors: Wei Li, Mengcheng Lan, Jiaxing Xu, Yiping Ke,
• Abstract要約: グラフは、ソーシャルネットワーク、生物学、レコメンデーションシステムといったドメイン間の複雑な相互作用をモデル化するために不可欠である。 従来のグラフニューラルネットワークは教師付き学習に大きく依存しており、ラベルスカースシナリオにおける一般化と適用性を制限している。 我々はこれらの制限を克服するために,ノード指向概念化 LLM (NOCL) を提案する。
• 参考スコア（独自算出の注目度）: 9.909254035707084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graphs are essential for modeling complex interactions across domains such as social networks, biology, and recommendation systems. Traditional Graph Neural Networks, particularly Message Passing Neural Networks (MPNNs), rely heavily on supervised learning, limiting their generalization and applicability in label-scarce scenarios. Recent self-supervised approaches still require labeled fine-tuning, limiting their effectiveness in zero-shot scenarios. Meanwhile, Large Language Models (LLMs) excel in natural language tasks but face significant challenges when applied to graphs, including preserving reasoning abilities, managing extensive token lengths from rich node attributes, and being limited to textual-attributed graphs (TAGs) and a single level task. To overcome these limitations, we propose the Node-Oriented Conceptualization LLM (NOCL), a novel framework that leverages two core techniques: 1) node description, which converts heterogeneous node attributes into structured natural language, extending LLM from TAGs to non-TAGs; 2) node concept, which encodes node descriptions into compact semantic embeddings using pretrained language models, significantly reducing token lengths by up to 93.9% compared to directly using node descriptions. Additionally, our NOCL employs graph representation descriptors to unify graph tasks at various levels into a shared, language-based query format, paving a new direction for Graph Foundation Models. Experimental results validate NOCL's competitive supervised performance relative to traditional MPNNs and hybrid LLM-MPNN methods and demonstrate superior generalization in zero-shot settings.
• Abstract（参考訳）: グラフは、ソーシャルネットワーク、生物学、レコメンデーションシステムといったドメイン間の複雑な相互作用をモデル化するために不可欠である。 従来のグラフニューラルネットワーク、特にメッセージパッシングニューラルネットワーク(MPNN)は、教師付き学習に大きく依存しており、ラベルスカースシナリオにおける一般化と適用性を制限している。 最近の自己監督型アプローチでは、ラベル付き微調整が必要であり、ゼロショットシナリオでの有効性を制限している。 一方、Large Language Models(LLMs)は自然言語タスクに優れるが、推論能力の保存、豊富なノード属性からのトークン長の管理、テキスト属性グラフ(TAGs)と単一レベルタスクに制限されるなど、グラフに適用する際の大きな課題に直面している。 これらの制限を克服するため、我々は2つのコア技術を利用する新しいフレームワークであるNode-Oriented Conceptualization LLM (NOCL)を提案する。 不均一なノード属性を構造化自然言語に変換し,TAGから非TAGに拡張するノード記述。 2)ノード記述を事前訓練された言語モデルを用いてコンパクトなセマンティック埋め込みにエンコードするノード概念は、ノード記述を直接使用する場合と比較してトークン長を最大93.9%削減する。 さらに、我々のNOCLはグラフ表現記述子を使用して、グラフタスクを様々なレベルで共有された言語ベースのクエリフォーマットに統合し、グラフ基礎モデルの新たな方向性を打ち出します。 実験により,従来のMPNNとLLM-MPNN法と比較してNOCLの競合監督性能を検証し,ゼロショット設定において優れた一般化を示す。

関連論文リスト

• Refining Interactions: Enhancing Anisotropy in Graph Neural Networks with Language Semantics [6.273224130511677]
  異方性GNNの概念を自然言語レベルまで拡張するフレームワークであるLanSAGNN(Language Semantic Anisotropic Graph Neural Network)を紹介する。 本稿では,LLMの出力とグラフタスクとの整合性を改善するために,効率的な2層LLMの微調整アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-04-02T07:32:45Z)
• LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models [54.82915844507371]
  Text-Attributed Graphs (TAG) は、現実のシナリオにおいてユビキタスである。 大規模言語モデル(LLMs)とグラフニューラルネットワーク(GNNs)をTAGsに統合する努力にもかかわらず、既存のアプローチは分離されたアーキテクチャに悩まされている。 本稿では,グラフ語彙学習に基づくTAGのための汎用GFMであるPromptGFMを提案する。
  論文  参考訳（メタデータ） (2025-03-05T09:45:22Z)
• GMLM: Bridging Graph Neural Networks and Language Models for Heterophilic Node Classification [0.0]
  我々は,グラフニューラルネットワーク (GNN) と事前学習言語モデル (PLM) を効率的に組み合わせた新しいアーキテクチャである textbfGraph Masked Language Model (GMLM) を提案する。 GMLMは3つの重要なイノベーションを紹介している: (i) スケーラブルなPLMテキスト処理のためのtextbfdynamic 能動ノード選択戦略; (ii) 学習可能なグラフtextt[MASK]トークンによるソフトマスクを用いたGNN固有のtextbfcontrastive pretrainingステージ; (iii) テキストbfdicated fusion。
  論文  参考訳（メタデータ） (2025-02-24T07:44:01Z)
• Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision? [62.12375949429938]
  本稿では,事前学習したグラフニューラルネットワークを下流タスクやデータに適用するためのマルチモーダル・プロンプト学習パラダイムを提案する。 我々の新しいパラダイムは、グラフプロンプトとテキストプロンプトの両方を同時に学習することで、Large Language Models(LLM)と直接同じ空間にグラフを埋め込む。 私たちは、GNNを極めて弱いテキスト管理で見えないクラスに一般化できるCLIPスタイルのゼロショット分類プロトタイプを構築した。
  論文  参考訳（メタデータ） (2024-12-11T08:03:35Z)
• GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model [63.774726052837266]
  グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を深く統合した新しいアーキテクチャを導入する。 本稿では,(1)GNNのメッセージパッシング機能を直接LLMのトランスフォーマー層に組み込む構造対応トランスフォーマー,(2)グラフノードとエッジから圧縮されていない全テキストを処理するグラフテキストクロスアテンション,(3)GNN-LLMツインプレクタ,(3)GNN-LLMツインプレクタ,3)GNNのスケーラブルなワンパス予測とともに,LLMの柔軟な自己回帰生成を実現する。
  論文  参考訳（メタデータ） (2024-12-08T05:49:58Z)
• NT-LLM: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models [26.739650151993928]
  グラフは、現実世界のシナリオにおける関係を表現するための基本的なデータ構造である。 グラフ関連のタスクにLLM(Large Language Models)を適用することは、大きな課題となる。 我々は,グラフ構造を効率的にエンコードする新しいフレームワークNT-LLM(Node Tokenizer for Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-10-14T17:21:57Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Multi-View Empowered Structural Graph Wordification for Language Models [12.22063024099311]
  本稿では,LLM-graphアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。 提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的' を理解可能な自然言語に効果的に翻訳することができる。 我々のフレームワークは、LLMとGNN間のトークンレベルのアライメントを実現するための、有望な試みである、ある視覚的解釈可能性、効率、堅牢性を保証する。
  論文  参考訳（メタデータ） (2024-06-19T16:43:56Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。