論文の概要: Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision?

• arxiv url: http://arxiv.org/abs/2412.08174v3
• Date: Sun, 01 Jun 2025 19:26:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 16:22:42.919941
• Title: Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision?
• Title（参考訳）: グラフニューラルネットワークは極めて弱いテキストスーパービジョンで言語を学習できるか?
• Authors: Zihao Li, Lecheng Zheng, Bowen Jin, Dongqi Fu, Baoyu Jing, Yikun Ban, Jingrui He, Jiawei Han,
• Abstract要約: 本稿では,事前学習したグラフニューラルネットワークを下流タスクやデータに適用するためのマルチモーダル・プロンプト学習パラダイムを提案する。 我々の新しいパラダイムは、グラフプロンプトとテキストプロンプトの両方を同時に学習することで、Large Language Models(LLM)と直接同じ空間にグラフを埋め込む。 私たちは、GNNを極めて弱いテキスト管理で見えないクラスに一般化できるCLIPスタイルのゼロショット分類プロトタイプを構築した。
• 参考スコア（独自算出の注目度）: 62.12375949429938
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While great success has been achieved in building vision models with Contrastive Language-Image Pre-training (CLIP) over internet-scale image-text pairs, building transferable Graph Neural Networks (GNNs) with CLIP pipeline is challenging because of the scarcity of labeled data and text supervision, different levels of downstream tasks, and the conceptual gaps between domains. In this work, to address these issues, we propose a multi-modal prompt learning paradigm to effectively adapt pre-trained GNN to downstream tasks and data, given only a few semantically labeled samples, each with extremely weak text supervision. Our new paradigm embeds the graphs directly in the same space as the Large Language Models (LLMs) by learning both graph prompts and text prompts simultaneously. We demonstrate the superior performance of our paradigm in few-shot, multi-task-level, and cross-domain settings. Moreover, we build the first CLIP-style zero-shot classification prototype that can generalize GNNs to unseen classes with extremely weak text supervision. The code is available at https://github.com/Violet24K/Morpher.
• Abstract（参考訳）: Contrastive Language-Image Pre-Training(CLIP)によるインターネット規模の画像テキストペアによるビジョンモデルの構築では大きな成功を収めているが、CLIPパイプラインによる転送可能なグラフニューラルネットワーク(GNN)の構築は、ラベル付きデータとテキスト管理の不足、ダウンストリームタスクのさまざまなレベル、ドメイン間の概念的ギャップのため、難しい。 本研究では、これらの課題に対処するため、テキスト管理が極めて弱い少数の意味的ラベル付きサンプルを前提として、事前学習したGNNを下流タスクやデータに効果的に適応するマルチモーダル・プロンプト学習パラダイムを提案する。 我々の新しいパラダイムは、グラフプロンプトとテキストプロンプトの両方を同時に学習することで、Large Language Models(LLM)と直接同じ空間にグラフを埋め込む。 我々は,マルチタスクレベル,クロスドメイン設定において,我々のパラダイムの優れた性能を示す。 また,CLIP形式のゼロショット分類のプロトタイプを初めて構築し,GNNを極めて弱いテキスト管理を持つ未確認クラスに一般化する。 コードはhttps://github.com/Violet24K/Morpher.comで公開されている。

関連論文リスト

• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• GraSAME: Injecting Token-Level Structural Information to Pretrained Language Models via Graph-guided Self-Attention Mechanism [10.573861741540853]
  本研究では,事前学習型言語モデルのためのグラフ誘導型自己注意機構GraSAMEを提案する。 GraSAMEはトークンレベルの構造情報をPLMにシームレスに組み込む。 グラフからテキストへの生成タスクの実験では,GraSAMEがベースラインモデルより優れ,WebNLGデータセット上での最先端(SOTA)モデルに匹敵する結果が得られることを示した。
  論文  参考訳（メタデータ） (2024-04-10T11:03:57Z)
• PSP: Pre-Training and Structure Prompt Tuning for Graph Neural Networks [24.688842637377583]
  事前学習とプロンプト」は、教師付きデータが少ない様々なタスクにグラフニューラルネットワークを適用するという有望な結果を示している。 本稿では,事前学習と即時チューニングの両段階における構造情報を一貫して活用するPSPを提案する。 PSPは、ホモフィルグラフとヘテロフィルグラフの両方において、数ショットのシナリオにおいて優れたパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2023-10-26T13:46:18Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。