論文の概要: Instance-Aware Graph Prompt Learning

• arxiv url: http://arxiv.org/abs/2411.17676v1
• Date: Tue, 26 Nov 2024 18:38:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:34:02.728783
• Title: Instance-Aware Graph Prompt Learning
• Title（参考訳）: インスタンス対応グラフプロンプト学習
• Authors: Jiazheng Li, Jundong Li, Chuxu Zhang,
• Abstract要約: 本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 71.26108600288308
• License:
• Abstract: Graph neural networks stand as the predominant technique for graph representation learning owing to their strong expressive power, yet the performance highly depends on the availability of high-quality labels in an end-to-end manner. Thus the pretraining and fine-tuning paradigm has been proposed to mitigate the label cost issue. Subsequently, the gap between the pretext tasks and downstream tasks has spurred the development of graph prompt learning which inserts a set of graph prompts into the original graph data with minimal parameters while preserving competitive performance. However, the current exploratory works are still limited since they all concentrate on learning fixed task-specific prompts which may not generalize well across the diverse instances that the task comprises. To tackle this challenge, we introduce Instance-Aware Graph Prompt Learning (IA-GPL) in this paper, aiming to generate distinct prompts tailored to different input instances. The process involves generating intermediate prompts for each instance using a lightweight architecture, quantizing these prompts through trainable codebook vectors, and employing the exponential moving average technique to ensure stable training. Extensive experiments conducted on multiple datasets and settings showcase the superior performance of IA-GPL compared to state-of-the-art baselines.
• Abstract（参考訳）: グラフニューラルネットワークは、表現力の強いグラフ表現学習において、主要な技術であると同時に、高性能なラベルをエンドツーエンドで利用することにも大きく依存する。 このように、ラベルコスト問題を緩和するために、事前学習と微調整のパラダイムが提案されている。 その後、プリテキストタスクと下流タスクのギャップにより、グラフプロンプト学習が発展し、グラフプロンプトのセットを最小のパラメータで元のグラフデータに挿入し、競争性能を維持した。 しかしながら、現在の探索作業は、それらすべてがタスク固有のプロンプトを学習することに集中しているため、タスクを構成する多様なインスタンスでうまく一般化できないため、まだ限られている。 この課題に対処するために、我々は、異なる入力インスタンスに適した個別のプロンプトを生成することを目的として、IA-GPL (Instance-Aware Graph Prompt Learning) を導入する。 このプロセスは、軽量アーキテクチャを使用して各インスタンスの中間的なプロンプトを生成し、トレーニング可能なコードブックベクターを通じてこれらのプロンプトを定量化し、安定したトレーニングを確保するために指数的な移動平均技術を使用する。 複数のデータセットと設定で実施された大規模な実験は、最先端のベースラインと比較してIA-GPLの優れたパフォーマンスを示している。

関連論文リスト

• Efficient and Context-Aware Label Propagation for Zero-/Few-Shot Training-Free Adaptation of Vision-Language Model [41.55165760439727]
  視覚言語モデル(VLM)は、さまざまな下流タスクに取り組むために、トレーニング済みの大きなモデルを活用することで、機械学習に革命をもたらした。 ラベル効率適応と推論のためのグラフベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-12-24T09:15:00Z)
• Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision? [62.12375949429938]
  CLIPパイプラインによる転送可能なグラフニューラルネットワーク(GNN)の構築は、3つの根本的な問題のために難しい。 我々は、マルチモーダル・プロンプト・ラーニングを利用して、事前学習したGNNを下流のタスクやデータに効果的に適応させる。 我々の新しいパラダイムは、グラフプロンプトとテキストプロンプトの両方を同時に学習することで、Large Language Models(LLM)と直接同じ空間にグラフを埋め込む。
  論文  参考訳（メタデータ） (2024-12-11T08:03:35Z)
• ProG: A Graph Prompt Learning Benchmark [17.229372585695092]
  グラフプロンプト学習が「プレトレイン・ファインチューン」に代わる有望な選択肢として登場 グラフプロンプト学習のための総合ベンチマークを初めて導入する。 本稿では,さまざまなグラフプロンプトモデルの実行を合理化する,使いやすいオープンソースライブラリである'ProG'を紹介する。
  論文  参考訳（メタデータ） (2024-06-08T04:17:48Z)
• HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks [22.775933880072294]
  HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。 半教師付きノード分類における最先端HGNNの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-23T19:35:57Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• All in One: Multi-task Prompting for Graph Neural Networks [30.457491401821652]
  本稿では,グラフモデルのための新しいマルチタスクプロンプト手法を提案する。 まず、グラフプロンプトと言語プロンプトのフォーマットを、プロンプトトークン、トークン構造、挿入パターンで統一する。 次に、様々なグラフアプリケーションのタスク空間を調査し、下流の問題をグラフレベルのタスクに再構成する。
  論文  参考訳（メタデータ） (2023-07-04T06:27:31Z)
• GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks [16.455234748896157]
  GraphPromptは、グラフに関する新しい事前トレーニングおよびプロンプトフレームワークである。 トレーニング済みタスクとダウンストリームタスクを共通タスクテンプレートに統合する。 また、トレーニング前のモデルから最も関連性の高い知識を見つけるために、下流タスクを支援するための学習可能なプロンプトも採用している。
  論文  参考訳（メタデータ） (2023-02-16T02:51:38Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。