論文の概要: SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning

• arxiv url: http://arxiv.org/abs/2308.02565v1
• Date: Thu, 3 Aug 2023 07:00:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 19:55:43.393955
• Title: SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning
• Title（参考訳）: SimTeG: テキストグラフ学習を改善する極めてシンプルなアプローチ
• Authors: Keyu Duan, Qian Liu, Tat-Seng Chua, Shuicheng Yan, Wei Tsang Ooi, Qizhe Xie, Junxian He
• Abstract要約: テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
• 参考スコア（独自算出の注目度）: 131.04781590452308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Textual graphs (TGs) are graphs whose nodes correspond to text (sentences or documents), which are widely prevalent. The representation learning of TGs involves two stages: (i) unsupervised feature extraction and (ii) supervised graph representation learning. In recent years, extensive efforts have been devoted to the latter stage, where Graph Neural Networks (GNNs) have dominated. However, the former stage for most existing graph benchmarks still relies on traditional feature engineering techniques. More recently, with the rapid development of language models (LMs), researchers have focused on leveraging LMs to facilitate the learning of TGs, either by jointly training them in a computationally intensive framework (merging the two stages), or designing complex self-supervised training tasks for feature extraction (enhancing the first stage). In this work, we present SimTeG, a frustratingly Simple approach for Textual Graph learning that does not innovate in frameworks, models, and tasks. Instead, we first perform supervised parameter-efficient fine-tuning (PEFT) on a pre-trained LM on the downstream task, such as node classification. We then generate node embeddings using the last hidden states of finetuned LM. These derived features can be further utilized by any GNN for training on the same task. We evaluate our approach on two fundamental graph representation learning tasks: node classification and link prediction. Through extensive experiments, we show that our approach significantly improves the performance of various GNNs on multiple graph benchmarks.
• Abstract（参考訳）: テキストグラフ(TG)は、ノードがテキスト(文や文書)に対応するグラフであり、広く普及している。 TGの表現学習には2つの段階がある。 (i)教師なし特徴抽出及び (ii)教師付きグラフ表現学習。 近年、グラフニューラルネットワーク(GNN)が支配する後期に多大な努力が注がれている。 しかし、既存のグラフベンチマークの以前の段階は依然として従来の機能エンジニアリング技術に依存している。 最近では、言語モデル(LM)の急速な発展に伴い、研究者は、計算集約的なフレームワーク(2段階を統合する)でそれらを共同で訓練したり、特徴抽出のための複雑な自己教師型トレーニングタスクを設計(第1段階の強化)することで、TGの学習を促進するためにLMを活用することに重点を置いている。 本稿では,フレームワークやモデル,タスクに革新を及ぼさないテキストグラフ学習のための,フラストレーションに富んだシンプルなアプローチであるsimtegを提案する。 代わりに、ノード分類のような下流タスクで事前訓練されたlm上で教師付きパラメータ効率の細かいチューニング(peft)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。 これらの特徴は、任意のGNNによって、同じタスクでトレーニングするためにさらに活用することができる。 ノード分類とリンク予測という2つの基本的なグラフ表現学習タスクに対するアプローチを評価する。 大規模な実験により,複数のグラフベンチマーク上での各種GNNの性能が大幅に向上することを示す。

関連論文リスト

• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• MuseGraph: Graph-oriented Instruction Tuning of Large Language Models for Generic Graph Mining [41.19687587548107]
  グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。 GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。 実験結果から,異なるグラフタスクの大幅な改善が示された。
  論文  参考訳（メタデータ） (2024-03-02T09:27:32Z)
• Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness [80.87683145376305]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
  論文  参考訳（メタデータ） (2024-02-02T09:10:35Z)
• GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
  グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。 堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。 本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-19T06:17:46Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Training Free Graph Neural Networks for Graph Matching [103.45755859119035]
  TFGMは、グラフニューラルネットワーク(GNN)ベースのグラフマッチングのパフォーマンスをトレーニングなしで向上するフレームワークである。 TFGMをさまざまなGNNに適用することは、ベースラインよりも有望な改善を示している。
  論文  参考訳（メタデータ） (2022-01-14T09:04:46Z)
• Dynamic Graph Representation Learning via Graph Transformer Networks [41.570839291138114]
  動的グラフ変換器 (DGT) を用いた動的グラフ学習手法を提案する。 DGTは、グラフトポロジを効果的に学習し、暗黙のリンクをキャプチャするための時空間符号化を持つ。 DGTはいくつかの最先端のベースラインと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-11-19T21:44:23Z)
• Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
  グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。 CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。 提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
  論文  参考訳（メタデータ） (2020-10-25T22:39:31Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。