論文の概要: GLIP: Graph and LLM Joint Pretraining for Graph-Level Tasks

• arxiv url: http://arxiv.org/abs/2606.29773v1
• Date: Mon, 29 Jun 2026 04:30:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.040228
• Title: GLIP: Graph and LLM Joint Pretraining for Graph-Level Tasks
• Title（参考訳）: GLIP:グラフレベルタスクのためのグラフとLLMジョイントプレトレーニング
• Abstract要約: グラフニューラルネットワーク(GNN)は,グラフ表現の学習において主流のアプローチとなっている。 大規模言語モデル(LLM)の台頭に伴い、近年の研究では、GNNとLLMの組み合わせが試みられている。 グラフレベルのタスクに対するGraph-LLM JoInt事前学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.957822216791255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graphs are widely used to model relational systems, with applications in domains such as social networks, finance, and biomedicine. Graph neural networks (GNNs) have become a mainstream approach for learning graph representations. With the rise of large language models (LLMs), recent studies have attempted to combine GNNs with LLMs. However, most existing works concentrate on node-level and edge-level tasks, while graph-level tasks, which require capturing more complex structural and feature information, remain relatively underexplored. Moreover, graph pretraining is a widely adopted strategy to alleviate the challenge of label scarcity. Most existing approaches are designed solely for GNNs such as GraphCL, leaving LLMs uninvolved in the process. To address these limitations, we propose GLIP, a Graph-LLM JoInt Pretraining framework for graph-level tasks. GLIP first performs graph augmentation to construct positive and negative pairs and introduces a multi-token selection strategy to identify patches informative in both structure and features. It further leverages a diffusion-based projector to enrich them with contextual information, enabling GLIP to capture signals from both global and local perspectives. Finally, GLIP employs a joint objective that integrates the LLM's semantic judgments with a contrastive alignment loss, ensuring consistent supervision at both the semantic and structural levels. After pretraining, GLIP is fine-tuned with limited labeled data for downstream tasks, and extensive experiments show that it outperforms state-of-the-art methods on graph-level classification and reasoning tasks. Our source code is publicly available at https://anonymous.4open.science/r/GLIP.
• Abstract（参考訳）: グラフはリレーショナルシステムをモデル化するために広く使われており、ソーシャルネットワーク、ファイナンス、バイオメディシンといった分野に応用されている。 グラフニューラルネットワーク(GNN)は,グラフ表現の学習において主流のアプローチとなっている。 大規模言語モデル(LLM)の台頭に伴い、近年の研究では、GNNとLLMの組み合わせが試みられている。 しかし、既存の作業の多くはノードレベルのタスクとエッジレベルのタスクに重点を置いている。 さらに、グラフ事前学習は、ラベル不足の課題を軽減するために広く採用されている戦略である。 既存のアプローチのほとんどは、GraphCLのようなGNN専用に設計されており、LCMはプロセスに無関係である。 これらの制約に対処するため,グラフレベルタスクのためのGraph-LLM JoInt PretrainingフレームワークであるGLIPを提案する。 GLIPは、まず、正と負のペアを構築するためにグラフ拡張を行い、構造と特徴の両方において有意なパッチを識別するマルチトークン選択戦略を導入する。 さらに、拡散ベースのプロジェクタを活用して、コンテキスト情報を豊かにすることで、GLIPはグローバルとローカルの両方の観点から信号をキャプチャすることができる。 最後に、GLIPはLLMの意味的判断と対照的なアライメント損失を統合し、セマンティックレベルと構造レベルの両方において一貫した監督を確実にする共同目的を用いている。 事前トレーニング後、GLIPはダウンストリームタスクのラベル付きデータによって微調整され、グラフレベルの分類と推論タスクにおける最先端の手法よりも優れた結果が得られた。 ソースコードはhttps://anonymous.4open.science/r/GLIPで公開されています。

関連論文リスト

• Semi-supervised Instruction Tuning for Large Language Models on Text-Attributed Graphs [62.544129365882014]
  本稿では,SIT-Graph というグラフ学習用セミ教師付きインストラクションチューニングパイプラインを提案する。 SIT-Graphはモデルに依存しず、LSMを予測子として利用するグラフ命令チューニングメソッドにシームレスに統合することができる。 SIT-Graphは、最先端グラフチューニング手法に組み込むと、テキスト分散グラフベンチマークの性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-01-19T08:10:53Z)
• GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。 textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
  論文  参考訳（メタデータ） (2025-10-06T08:09:15Z)
• Scalability Matters: Overcoming Challenges in InstructGLM with Similarity-Degree-Based Sampling [1.2805157669888096]
  提案するSDM-InstructGLMは,GNNに依存することなく,拡張性と効率を向上する命令調整グラフ言語モデル(InstructGLM)フレームワークである。 本手法では,ノード間類似度と次数集中度に基づいてグラフ情報を選択的にサンプリングし,符号化する,類似度に基づくバイアス付きランダムウォーク機構を提案する。 本結果は,LLMのみのグラフ処理の実現可能性を示し,命令ベースの微調整によって最適化されたスケーラブルかつ解釈可能なグラフ言語モデル(GLM)を実現する。
  論文  参考訳（メタデータ） (2025-05-02T06:08:21Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Enhancing Graph Neural Networks with Limited Labeled Data by Actively Distilling Knowledge from Large Language Models [30.867447814409623]
  グラフニューラルネットワーク(GNN)は、グラフの基本課題であるノード分類において優れた能力を持つ。 本稿では,Large Language Models(LLM)とGNNを統合する新しい手法を提案する。 我々のモデルでは,ラベル付きデータによるノード分類精度を著しく向上し,最先端のベースラインをかなりのマージンで超えた。
  論文  参考訳（メタデータ） (2024-07-19T02:34:10Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
  グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。 堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。 本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-19T06:17:46Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。