論文の概要: Heterformer: Transformer-based Deep Node Representation Learning on Heterogeneous Text-Rich Networks

• arxiv url: http://arxiv.org/abs/2205.10282v2
• Date: Sun, 4 Jun 2023 21:20:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 05:22:22.488717
• Title: Heterformer: Transformer-based Deep Node Representation Learning on Heterogeneous Text-Rich Networks
• Title（参考訳）: Heterformer:異種テキストリッチネットワークを用いたトランスフォーマーに基づくディープノード表現学習
• Authors: Bowen Jin, Yu Zhang, Qi Zhu, Jiawei Han
• Abstract要約: Heterformerは、コンテキスト化されたテキストエンコーディングと、統一されたモデルでヘテロジニアスな構造エンコーディングを実行する。 我々は3つの大規模データセット上で3つのタスク(リンク予測、ノード分類、ノードクラスタリング)について包括的な実験を行う。
• 参考スコア（独自算出の注目度）: 29.33447325640058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation learning on networks aims to derive a meaningful vector representation for each node, thereby facilitating downstream tasks such as link prediction, node classification, and node clustering. In heterogeneous text-rich networks, this task is more challenging due to (1) presence or absence of text: Some nodes are associated with rich textual information, while others are not; (2) diversity of types: Nodes and edges of multiple types form a heterogeneous network structure. As pretrained language models (PLMs) have demonstrated their effectiveness in obtaining widely generalizable text representations, a substantial amount of effort has been made to incorporate PLMs into representation learning on text-rich networks. However, few of them can jointly consider heterogeneous structure (network) information as well as rich textual semantic information of each node effectively. In this paper, we propose Heterformer, a Heterogeneous Network-Empowered Transformer that performs contextualized text encoding and heterogeneous structure encoding in a unified model. Specifically, we inject heterogeneous structure information into each Transformer layer when encoding node texts. Meanwhile, Heterformer is capable of characterizing node/edge type heterogeneity and encoding nodes with or without texts. We conduct comprehensive experiments on three tasks (i.e., link prediction, node classification, and node clustering) on three large-scale datasets from different domains, where Heterformer outperforms competitive baselines significantly and consistently.
• Abstract（参考訳）: ネットワーク上での表現学習は,各ノードに対して有意義なベクトル表現を導出することを目的として,リンク予測やノード分類,ノードクラスタリングといった下流タスクを容易にする。 ヘテロジニアスなテキストリッチネットワークでは、(1)テキストの有無、(2)リッチなテキスト情報に関連付けられたノード、(2)複数のタイプのノードとエッジの多様性が異質なネットワーク構造を形成する、という課題がある。 事前学習された言語モデル(PLM)は、広く一般化可能なテキスト表現を得る上での有効性を示したため、PLMをテキストリッチネットワーク上での表現学習に組み込むことにかなりの努力が払われている。 しかし、各ノードの豊富なテキスト意味情報だけでなく、異種構造(ネットワーク)情報も効果的に検討できるものはほとんどない。 本稿では,コンテキスト化されたテキストエンコーディングとヘテロジニアスな構造エンコーディングを行うヘテロジニアス・ネットワーク駆動トランスフォーマを提案する。 具体的には、ノードテキストを符号化する際、トランスフォーマー層に異種構造情報を注入する。 一方、heterformerは、node/edge型の不均一性を特徴付け、テキストの有無にかかわらずノードをエンコーディングすることができる。 異なるドメインの3つの大規模データセット上で,3つのタスク(リンク予測,ノード分類,ノードクラスタリング)に関する総合的な実験を行い,heterformerが競合ベースラインを著しくかつ一貫して上回っている。

関連論文リスト

• Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
  テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。 本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。 各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
  論文  参考訳（メタデータ） (2023-10-19T08:41:21Z)
• TeKo: Text-Rich Graph Neural Networks with External Knowledge [75.91477450060808]
  外部知識を用いた新しいテキストリッチグラフニューラルネットワーク(TeKo)を提案する。 まず、高品質なエンティティを組み込んだフレキシブルな異種セマンティックネットワークを提案する。 次に、構造化三重項と非構造化実体記述という2種類の外部知識を導入する。
  論文  参考訳（メタデータ） (2022-06-15T02:33:10Z)
• Minimally-Supervised Structure-Rich Text Categorization via Learning on Text-Rich Networks [61.23408995934415]
  テキストリッチネットワークから学習することで,最小限に教師付き分類を行う新しいフレームワークを提案する。 具体的には、テキスト理解のためのテキスト解析モジュールと、クラス差別的でスケーラブルなネットワーク学習のためのネットワーク学習モジュールの2つのモジュールを共同でトレーニングします。 実験の結果,1つのカテゴリに3つのシード文書しか与えられず,その精度は約92%であった。
  論文  参考訳（メタデータ） (2021-02-23T04:14:34Z)
• Overlapping Community Detection in Temporal Text Networks [26.489288530629892]
  時間的テキストネットワークにおけるコミュニティ検出の重複問題について検討する。 32の大規模テンポラリテキストネットワークを調べることで、共通のコミュニティを持たない2つのノードをつなぐ多くのエッジを見出した。 これらの実証的な観察を動機に、コミュニティの相互作用を捉えた生成モデルであるMAGICを提案します。
  論文  参考訳（メタデータ） (2021-01-13T15:32:39Z)
• Adversarial Context Aware Network Embeddings for Textual Networks [8.680676599607123]
  既存のアプローチでは、接続ノードの埋め込みを同様のものにすることで、テキストとネットワーク構造の埋め込みを学習する。 これは、これらのアプローチが埋め込みを学ぶためにエッジ情報を必要としており、目に見えないノードの埋め込みを学ぶことができないことを意味している。 本稿では,モダリティ融合と未確認ノードの埋め込みを学習する能力の両方を実現するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-11-05T05:20:01Z)
• TriNE: Network Representation Learning for Tripartite Heterogeneous Networks [8.93957397187611]
  我々はTriNEと呼ばれる三部構造ヘテロジニアスネットワークを組込み開発する。 この手法は、ノード間の明示的な関係をモデル化する目的関数を構築するために、ユニークなユーザ-item-tag三部関係を考察する。 実世界の三部ネットワークの実験は、オンラインユーザ応答予測におけるTriNEの性能を検証する。
  論文  参考訳（メタデータ） (2020-10-14T05:30:09Z)
• Graph Prototypical Networks for Few-shot Learning on Attributed Networks [72.31180045017835]
  グラフメタ学習フレームワーク - Graph Prototypeal Networks (GPN) を提案する。 GPNは、属性付きネットワーク上でテキストミータ学習を行い、ターゲット分類タスクを扱うための高度に一般化可能なモデルを導出する。
  論文  参考訳（メタデータ） (2020-06-23T04:13:23Z)
• Unsupervised Differentiable Multi-aspect Network Embedding [52.981277420394846]
  本稿では,asp2vecと呼ばれるマルチアスペクトネットワーク埋め込みのための新しいエンドツーエンドフレームワークを提案する。 提案するフレームワークは容易に異種ネットワークに拡張できる。
  論文  参考訳（メタデータ） (2020-06-07T19:26:20Z)
• Heterogeneous Graph Neural Networks for Extractive Document Summarization [101.17980994606836]
  クロス文関係は、抽出文書要約における重要なステップである。 We present a graph-based neural network for extractive summarization (HeterSumGraph) 抽出文書要約のためのグラフベースニューラルネットワークに異なる種類のノードを導入する。
  論文  参考訳（メタデータ） (2020-04-26T14:38:11Z)
• Modeling Global and Local Node Contexts for Text Generation from Knowledge Graphs [63.12058935995516]
  最近のグラフ・トゥ・テキストモデルでは、グローバル・アグリゲーションまたはローカル・アグリゲーションを使用してグラフベースのデータからテキストを生成する。 本稿では,グローバルなノードコンテキストとローカルなノードコンテキストを組み合わせた入力グラフを符号化するニューラルモデルを提案する。 われわれのアプローチは、2つのグラフからテキストへのデータセットに大きな改善をもたらす。
  論文  参考訳（メタデータ） (2020-01-29T18:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。