論文の概要: Heterformer: A Transformer Architecture for Node Representation Learning
on Heterogeneous Text-Rich Networks
- arxiv url: http://arxiv.org/abs/2205.10282v1
- Date: Fri, 20 May 2022 16:26:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-23 13:41:11.718703
- Title: Heterformer: A Transformer Architecture for Node Representation Learning
on Heterogeneous Text-Rich Networks
- Title（参考訳）: Heterformer: 異種テキストリッチネットワーク上でのノード表現学習のためのトランスフォーマーアーキテクチャ
- Authors: Bowen Jin, Yu Zhang, Qi Zhu, Jiawei Han
- Abstract要約: ヘテロジニアステキストリッチネットワーク上でのノード表現学習について検討する。
我々は、GNNとPLMを統一モデルにブレンドした異種GNNネスト変換器Heterformerを提案する。
- 参考スコア（独自算出の注目度）: 29.33447325640058
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study node representation learning on heterogeneous text-rich networks,
where nodes and edges are multi-typed and some types of nodes are associated
with text information. Although recent studies on graph neural networks (GNNs)
and pretrained language models (PLMs) have demonstrated their power in encoding
network and text signals, respectively, less focus has been given to delicately
coupling these two types of models on heterogeneous text-rich networks.
Specifically, existing GNNs rarely model text in each node in a contextualized
way; existing PLMs can hardly be applied to characterize graph structures due
to their sequence architecture. In this paper, we propose Heterformer, a
Heterogeneous GNN-nested transformer that blends GNNs and PLMs into a unified
model. Different from previous "cascaded architectures" that directly add GNN
layers upon a PLM, our Heterformer alternately stacks two modules - a
graph-attention-based neighbor aggregation module and a transformer-based text
and neighbor joint encoding module - to facilitate thorough mutual enhancement
between network and text signals. Meanwhile, Heterformer is capable of
characterizing network heterogeneity and nodes without text information.
Comprehensive experiments on three large-scale datasets from different domains
demonstrate the superiority of Heterformer over state-of-the-art baselines in
link prediction, transductive/inductive node classification, node clustering,
and semantics-based retrieval.
- Abstract（参考訳）: ノードとエッジが多型化され,ある種のノードがテキスト情報と関連付けられている異種テキストリッチネットワーク上でのノード表現学習について検討する。
最近のグラフニューラルネットワーク(gnns)とプリトレーニング言語モデル(plms)の研究は、それぞれネットワークとテキスト信号をエンコードする能力を示しているが、これらの2種類のモデルを不均一なテキストリッチネットワーク上に繊細に結合することには、あまり焦点が当てられていない。
具体的には、既存のGNNが各ノードのテキストを文脈的にモデル化することは滅多にない。
本稿では,GNN と PLM を融合したヘテロジニアス GNN ネスト変換器 Heterformer を提案する。
PLM上にGNN層を直接付加する従来の"カスケードアーキテクチャ"とは異なり、我々のHeterformerは2つのモジュール – グラフアテンションベースの隣の集約モジュールと変換器ベースのテキストと隣のジョイントエンコーディングモジュール – を交互に積み重ねて、ネットワークとテキスト信号間の相互補完を容易にする。
一方、heterformerは、テキスト情報なしでネットワークの不均一性とノードを特徴付けることができる。
異なるドメインからの3つの大規模データセットに関する包括的な実験は、リンク予測、トランスダクティブ/インダクティブノード分類、ノードクラスタリング、セマンティクスに基づく検索において、Heterformerが最先端のベースラインよりも優れていることを示す。
関連論文リスト
- Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。
本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。
各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
論文 参考訳（メタデータ） (2023-10-19T08:41:21Z) - TeKo: Text-Rich Graph Neural Networks with External Knowledge [75.91477450060808]
外部知識を用いた新しいテキストリッチグラフニューラルネットワーク(TeKo)を提案する。
まず、高品質なエンティティを組み込んだフレキシブルな異種セマンティックネットワークを提案する。
次に、構造化三重項と非構造化実体記述という2種類の外部知識を導入する。
論文 参考訳（メタデータ） (2022-06-15T02:33:10Z) - Minimally-Supervised Structure-Rich Text Categorization via Learning on
Text-Rich Networks [61.23408995934415]
テキストリッチネットワークから学習することで,最小限に教師付き分類を行う新しいフレームワークを提案する。
具体的には、テキスト理解のためのテキスト解析モジュールと、クラス差別的でスケーラブルなネットワーク学習のためのネットワーク学習モジュールの2つのモジュールを共同でトレーニングします。
実験の結果,1つのカテゴリに3つのシード文書しか与えられず,その精度は約92%であった。
論文 参考訳（メタデータ） (2021-02-23T04:14:34Z) - Overlapping Community Detection in Temporal Text Networks [26.489288530629892]
時間的テキストネットワークにおけるコミュニティ検出の重複問題について検討する。
32の大規模テンポラリテキストネットワークを調べることで、共通のコミュニティを持たない2つのノードをつなぐ多くのエッジを見出した。
これらの実証的な観察を動機に、コミュニティの相互作用を捉えた生成モデルであるMAGICを提案します。
論文 参考訳（メタデータ） (2021-01-13T15:32:39Z) - Adversarial Context Aware Network Embeddings for Textual Networks [8.680676599607123]
既存のアプローチでは、接続ノードの埋め込みを同様のものにすることで、テキストとネットワーク構造の埋め込みを学習する。
これは、これらのアプローチが埋め込みを学ぶためにエッジ情報を必要としており、目に見えないノードの埋め込みを学ぶことができないことを意味している。
本稿では,モダリティ融合と未確認ノードの埋め込みを学習する能力の両方を実現するアプローチを提案する。
論文 参考訳（メタデータ） (2020-11-05T05:20:01Z) - TriNE: Network Representation Learning for Tripartite Heterogeneous
Networks [8.93957397187611]
我々はTriNEと呼ばれる三部構造ヘテロジニアスネットワークを組込み開発する。
この手法は、ノード間の明示的な関係をモデル化する目的関数を構築するために、ユニークなユーザ-item-tag三部関係を考察する。
実世界の三部ネットワークの実験は、オンラインユーザ応答予測におけるTriNEの性能を検証する。
論文 参考訳（メタデータ） (2020-10-14T05:30:09Z) - Graph Prototypical Networks for Few-shot Learning on Attributed Networks [72.31180045017835]
グラフメタ学習フレームワーク - Graph Prototypeal Networks (GPN) を提案する。
GPNは、属性付きネットワーク上でテキストミータ学習を行い、ターゲット分類タスクを扱うための高度に一般化可能なモデルを導出する。
論文 参考訳（メタデータ） (2020-06-23T04:13:23Z) - Unsupervised Differentiable Multi-aspect Network Embedding [52.981277420394846]
本稿では,asp2vecと呼ばれるマルチアスペクトネットワーク埋め込みのための新しいエンドツーエンドフレームワークを提案する。
提案するフレームワークは容易に異種ネットワークに拡張できる。
論文 参考訳（メタデータ） (2020-06-07T19:26:20Z) - Heterogeneous Graph Neural Networks for Extractive Document
Summarization [101.17980994606836]
クロス文関係は、抽出文書要約における重要なステップである。
We present a graph-based neural network for extractive summarization (HeterSumGraph)
抽出文書要約のためのグラフベースニューラルネットワークに異なる種類のノードを導入する。
論文 参考訳（メタデータ） (2020-04-26T14:38:11Z) - Modeling Global and Local Node Contexts for Text Generation from
Knowledge Graphs [63.12058935995516]
最近のグラフ・トゥ・テキストモデルでは、グローバル・アグリゲーションまたはローカル・アグリゲーションを使用してグラフベースのデータからテキストを生成する。
本稿では,グローバルなノードコンテキストとローカルなノードコンテキストを組み合わせた入力グラフを符号化するニューラルモデルを提案する。
われわれのアプローチは、2つのグラフからテキストへのデータセットに大きな改善をもたらす。
論文 参考訳（メタデータ） (2020-01-29T18:24:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。