Fugu-MT 論文翻訳(概要): Pre-Training and Prompting for Few-Shot Node Classification on Text-Attributed Graphs

論文の概要: Pre-Training and Prompting for Few-Shot Node Classification on Text-Attributed Graphs

arxiv url: http://arxiv.org/abs/2407.15431v1
Date: Mon, 22 Jul 2024 07:24:21 GMT
ステータス: 処理完了
システム内更新日: 2024-07-23 15:50:49.961368
Title: Pre-Training and Prompting for Few-Shot Node Classification on Text-Attributed Graphs
Title（参考訳）: テキスト分散グラフを用いたFew-Shotノード分類のための事前学習とプロンプト
Authors: Huanjing Zhao, Beining Yang, Yukuo Cen, Junyu Ren, Chenhui Zhang, Yuxiao Dong, Evgeny Kharlamov, Shu Zhao, Jie Tang,
Abstract要約: テキスト分散グラフ(英: Text-attributed graph、TAG)は、生のテキストに関連付けられた各ノードを持つ、現実世界の重要なグラフ構造化データの一種である。 TAGでは、従来の数発のノード分類手法が、事前処理されたノード機能で直接トレーニングを行う。 P2TAGは、グラフ事前学習とプロンプトを備えたTAG上の少数ショットノード分類のためのフレームワークである。
参考スコア（独自算出の注目度）: 35.44563283531432
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The text-attributed graph (TAG) is one kind of important real-world graph-structured data with each node associated with raw texts. For TAGs, traditional few-shot node classification methods directly conduct training on the pre-processed node features and do not consider the raw texts. The performance is highly dependent on the choice of the feature pre-processing method. In this paper, we propose P2TAG, a framework designed for few-shot node classification on TAGs with graph pre-training and prompting. P2TAG first pre-trains the language model (LM) and graph neural network (GNN) on TAGs with self-supervised loss. To fully utilize the ability of language models, we adapt the masked language modeling objective for our framework. The pre-trained model is then used for the few-shot node classification with a mixed prompt method, which simultaneously considers both text and graph information. We conduct experiments on six real-world TAGs, including paper citation networks and product co-purchasing networks. Experimental results demonstrate that our proposed framework outperforms existing graph few-shot learning methods on these datasets with +18.98% ~ +35.98% improvements.
Abstract（参考訳）: テキスト分散グラフ(英: text-attributed graph、TAG)は、生のテキストに関連付けられた各ノードを持つ重要な実世界のグラフ構造化データの一種である。 TAGでは、従来の少数ショットノード分類手法が事前処理されたノード機能を直接的に訓練し、生のテキストを考慮しない。性能は特徴前処理方式の選択に大きく依存する。本稿では,グラフ事前学習とプロンプトを備えたTAG上での少数ショットノード分類のためのフレームワークであるP2TAGを提案する。 P2TAGはまず、自己教師付き損失のあるTAG上で、言語モデル(LM)とグラフニューラルネットワーク(GNN)を事前訓練する。言語モデルの能力を十分に活用するために,我々は,マスキング言語モデリングの目的をフレームワークに適用する。事前訓練されたモデルは、テキスト情報とグラフ情報の両方を同時に考慮する混合プロンプト法による少数ショットノード分類に使用される。我々は,紙の引用ネットワークや商品共同購入ネットワークを含む,現実世界のTAGの6つの実験を行っている。実験の結果,提案フレームワークは,これらのデータセット上で,+18.98%～+35.98%の改善で,既存の数ショット学習手法よりも優れていることがわかった。

関連論文リスト

Graph Neural Networks on Discriminative Graphs of Words [19.817473565906777]
本研究では,単語グラフニューラルネットワーク(DGoW-GNN)によるテキストの識別手法を提案する。本稿では,GNNとシーケンスモデルを組み合わせたグラフベースのテキスト分類の新しいモデルを提案する。提案手法を7つのベンチマークデータセットで評価し,いくつかの最先端ベースラインモデルにより性能が向上していることを確認した。
論文参考訳（メタデータ） (2024-10-27T15:14:06Z)
Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
論文参考訳（メタデータ） (2023-10-19T08:41:21Z)
Learning Multiplex Representations on Text-Attributed Graphs with One Language Model Encoder [55.24276913049635]
テキスト分散グラフ上での多重表現学習のための新しいフレームワークMETAGを提案する。既存の手法とは対照的に、MeTAGは1つのテキストエンコーダを使用して関係性間の共有知識をモデル化する。学術分野と電子商取引分野の5つのグラフにおいて,9つの下流タスクについて実験を行った。
論文参考訳（メタデータ） (2023-10-10T14:59:22Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
論文参考訳（メタデータ） (2023-05-23T17:53:30Z)
Graph Neural Networks for Text Classification: A Survey [8.414181339242706]
グラフニューラルネットワークベースのモデルは、複雑な構造化テキストデータに対処し、グローバル情報を利用することができる。コーパスレベルと文書レベルのグラフニューラルネットワークを含む、メソッドのカバレッジを2023年までに提供します。技術調査に加えて,グラフニューラルネットワークを用いたテキスト分類における課題と今後の方向性についても検討する。
論文参考訳（メタデータ） (2023-04-23T04:21:50Z)
A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-16T22:46:33Z)
Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文参考訳（メタデータ） (2022-03-03T09:53:53Z)
Hierarchical Heterogeneous Graph Representation Learning for Short Text Classification [60.233529926965836]
短文分類のためのグラフニューラルネットワーク(GNN)に基づく ShiNE と呼ばれる新しい手法を提案する。まず,短文データセットを単語レベル成分グラフからなる階層的不均一グラフとしてモデル化する。そして、類似した短いテキスト間の効果的なラベル伝搬を容易にするショート文書グラフを動的に学習する。
論文参考訳（メタデータ） (2021-10-30T05:33:05Z)
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文参考訳（メタデータ） (2021-05-06T12:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。