論文の概要: Pretraining Language Models with Text-Attributed Heterogeneous Graphs
- arxiv url: http://arxiv.org/abs/2310.12580v2
- Date: Mon, 23 Oct 2023 01:46:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 11:33:25.175868
- Title: Pretraining Language Models with Text-Attributed Heterogeneous Graphs
- Title(参考訳): テキスト属性不均質グラフを用いた事前学習言語モデル
- Authors: Tao Zou, Le Yu, Yifei Huang, Leilei Sun, Bowen Du
- Abstract要約: テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。
本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。
各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
- 参考スコア(独自算出の注目度): 28.579509154284448
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many real-world scenarios (e.g., academic networks, social platforms),
different types of entities are not only associated with texts but also
connected by various relationships, which can be abstracted as Text-Attributed
Heterogeneous Graphs (TAHGs). Current pretraining tasks for Language Models
(LMs) primarily focus on separately learning the textual information of each
entity and overlook the crucial aspect of capturing topological connections
among entities in TAHGs. In this paper, we present a new pretraining framework
for LMs that explicitly considers the topological and heterogeneous information
in TAHGs. Firstly, we define a context graph as neighborhoods of a target node
within specific orders and propose a topology-aware pretraining task to predict
nodes involved in the context graph by jointly optimizing an LM and an
auxiliary heterogeneous graph neural network. Secondly, based on the
observation that some nodes are text-rich while others have little text, we
devise a text augmentation strategy to enrich textless nodes with their
neighbors' texts for handling the imbalance issue. We conduct link prediction
and node classification tasks on three datasets from various domains.
Experimental results demonstrate the superiority of our approach over existing
methods and the rationality of each design. Our code is available at
https://github.com/Hope-Rita/THLM.
- Abstract(参考訳): 多くの現実のシナリオ(例えば、学術的ネットワーク、社会プラットフォーム)では、異なるタイプのエンティティはテキストに関連付けられているだけでなく、様々な関係によって関連付けられており、テキスト属性の異種グラフ(TAHG)として抽象化できる。
現在の言語モデルのための事前学習タスク(lms)は、主に各エンティティのテキスト情報を個別に学習することに集中し、tahg内のエンティティ間のトポロジー接続を捉える重要な側面を見落としている。
本稿では,TAHGのトポロジ的および異種情報を明確に考慮した,LMのための新しい事前学習フレームワークを提案する。
まず,特定の順序における対象ノードの近傍としてコンテキストグラフを定義し,LMと補助ヘテロジニアスグラフニューラルネットワークを併用することにより,コンテキストグラフに関連するノードを予測するトポロジ対応事前学習タスクを提案する。
第二に、一部のノードがテキストに富んでいるのに対し、他のノードはテキストに乏しいという観測に基づいて、不均衡を扱うために隣人のテキストでテキストのないノードを豊かにするためのテキスト拡張戦略を考案する。
各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
実験により,既存手法に対するアプローチの優位性と各設計の合理性を示す。
私たちのコードはhttps://github.com/hope-rita/thlmで利用可能です。
関連論文リスト
- Empower Text-Attributed Graphs Learning with Large Language Models
(LLMs) [5.920353954082262]
本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。
エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。
実験では、特に低ショットシナリオにおいて、提案したパラダイムの卓越した性能を示す。
論文 参考訳(メタデータ) (2023-10-15T16:04:28Z) - One for All: Towards Training One Graph Model for All Classification
Tasks [64.74879508476636]
様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。
上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。
OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
論文 参考訳(メタデータ) (2023-09-29T21:15:26Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and
Text Embeddings [14.223535075658626]
ConGraTは、親グラフ内のテキストとノードの別々の表現を共同で学習する一般的な自己教師型手法である。
提案手法では,グラフノードとテキストに対して2つの別個のエンコーダを使用して,それらの表現を共通の潜在空間内で整列するように訓練する。
論文 参考訳(メタデータ) (2023-05-23T17:53:30Z) - Improving Graph-Based Text Representations with Character and Word Level
N-grams [30.699644290131044]
単語と文字n-gramノードを文書ノードと組み合わせた新しい単語文字テキストグラフを提案する。
また、提案したテキストグラフをモデル化するための2つの新しいグラフベースニューラルモデルWCTextGCNとWCTextGATを提案する。
論文 参考訳(メタデータ) (2022-10-12T08:07:54Z) - Hierarchical Heterogeneous Graph Representation Learning for Short Text
Classification [60.233529926965836]
短文分類のためのグラフニューラルネットワーク(GNN)に基づく ShiNE と呼ばれる新しい手法を提案する。
まず,短文データセットを単語レベル成分グラフからなる階層的不均一グラフとしてモデル化する。
そして、類似した短いテキスト間の効果的なラベル伝搬を容易にするショート文書グラフを動的に学習する。
論文 参考訳(メタデータ) (2021-10-30T05:33:05Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳(メタデータ) (2021-05-06T12:20:41Z) - Every Document Owns Its Structure: Inductive Text Classification via
Graph Neural Networks [22.91359631452695]
グラフニューラルネットワーク(GNN)を用いたインダクティブテキスト分類のためのテクスティングを提案する。
まず、各文書の個々のグラフを作成し、次にGNNを用いて局所構造に基づいて粒度の細かい単語表現を学習する。
本手法は,最先端のテキスト分類法より優れている。
論文 参考訳(メタデータ) (2020-04-22T07:23:47Z) - Iterative Context-Aware Graph Inference for Visual Dialog [126.016187323249]
本稿では,新しいコンテキスト認識グラフ(CAG)ニューラルネットワークを提案する。
グラフの各ノードは、オブジェクトベース(視覚)と履歴関連(テキスト)コンテキスト表現の両方を含む、共同意味機能に対応している。
論文 参考訳(メタデータ) (2020-04-05T13:09:37Z) - Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning [72.52804406378023]
ビデオとテキスト間のクロスモーダル検索は、Web上のビデオの急速な出現により、注目を集めている。
微細なビデオテキスト検索を改善するために,ビデオテキストマッチングをグローバル-ローカルレベルに分解する階層グラフ推論モデルを提案する。
論文 参考訳(メタデータ) (2020-03-01T03:44:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。