論文の概要: Edgeformers: Graph-Empowered Transformers for Representation Learning on Textual-Edge Networks

• arxiv url: http://arxiv.org/abs/2302.11050v1
• Date: Tue, 21 Feb 2023 23:09:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-23 16:53:24.860168
• Title: Edgeformers: Graph-Empowered Transformers for Representation Learning on Textual-Edge Networks
• Title（参考訳）: Edgeformers: テキストエッジネットワーク上での表現学習のためのグラフ駆動トランスフォーマー
• Authors: Bowen Jin, Yu Zhang, Yu Meng, Jiawei Han
• Abstract要約: Edgeformersは、エッジおよびノード表現学習を実行するグラフ強化トランスフォーマー上に構築されたフレームワークである。 エッジの分類とリンク予測において,Edgeformerは一貫して最先端のベースラインを上回っていることを示す。
• 参考スコア（独自算出の注目度）: 30.49672654211631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Edges in many real-world social/information networks are associated with rich text information (e.g., user-user communications or user-product reviews). However, mainstream network representation learning models focus on propagating and aggregating node attributes, lacking specific designs to utilize text semantics on edges. While there exist edge-aware graph neural networks, they directly initialize edge attributes as a feature vector, which cannot fully capture the contextualized text semantics of edges. In this paper, we propose Edgeformers, a framework built upon graph-enhanced Transformers, to perform edge and node representation learning by modeling texts on edges in a contextualized way. Specifically, in edge representation learning, we inject network information into each Transformer layer when encoding edge texts; in node representation learning, we aggregate edge representations through an attention mechanism within each node's ego-graph. On five public datasets from three different domains, Edgeformers consistently outperform state-of-the-art baselines in edge classification and link prediction, demonstrating the efficacy in learning edge and node representations, respectively.
• Abstract（参考訳）: 多くの現実世界のソーシャル/情報ネットワークのエッジはリッチテキスト情報(例えば、ユーザー-ユーザコミュニケーションやユーザー-製品レビュー)と関連付けられている。 しかし、主流のネットワーク表現学習モデルはノード属性の伝播と集約に焦点を当てており、エッジ上でテキストセマンティクスを利用するための特定の設計が欠けている。 エッジ対応グラフニューラルネットワークは存在するが、エッジ属性を機能ベクトルとして直接初期化し、エッジのコンテキスト化されたテキストセマンティクスを完全に捉えることはできない。 本稿では,エッジ上のテキストを文脈的にモデル化してエッジとノードの表現学習を行うための,グラフ強化トランスフォーマーに基づくフレームワークであるEdgeformersを提案する。 具体的には、エッジ表現学習において、エッジテキストを符号化する際、各トランスフォーマー層にネットワーク情報を注入し、ノード表現学習では、各ノードのエゴグラフ内の注意機構を介してエッジ表現を集約する。 3つの異なるドメインからの5つの公開データセットにおいて、Edgeformerは、エッジ分類とリンク予測における最先端のベースラインを一貫して上回り、それぞれが学習エッジとノード表現の有効性を示す。

関連論文リスト

• Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
  GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。 提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
  論文  参考訳（メタデータ） (2024-06-18T13:35:25Z)
• GAugLLM: Improving Graph Contrastive Learning for Text-Attributed Graphs with Large Language Models [33.3678293782131]
  本研究は,テキスト分散グラフ(TAG)の自己教師付きグラフ学習に関する研究である。 言語指導によるビュージェネレーションの改善を目指しています。 これは、リッチなセマンティック情報を持つグラフ構造を補完する、実際のアプリケーションにおけるテキスト属性の出現によって引き起こされる。
  論文  参考訳（メタデータ） (2024-06-17T17:49:19Z)
• Refined Edge Usage of Graph Neural Networks for Edge Prediction [51.06557652109059]
  We propose a novel edge prediction paradigm named Edge-aware Message PassIng neuRal nEtworks (EMPIRE)。 まず,各エッジをトポロジや監督のためにのみ使用するエッジ分割手法を提案する。 監視エッジで接続されたペアと接続されていないペアの差を強調するために、さらにメッセージを重み付けして、その差を反映できる相対的なペアを強調します。
  論文  参考訳（メタデータ） (2022-12-25T23:19:56Z)
• TeKo: Text-Rich Graph Neural Networks with External Knowledge [75.91477450060808]
  外部知識を用いた新しいテキストリッチグラフニューラルネットワーク(TeKo)を提案する。 まず、高品質なエンティティを組み込んだフレキシブルな異種セマンティックネットワークを提案する。 次に、構造化三重項と非構造化実体記述という2種類の外部知識を導入する。
  論文  参考訳（メタデータ） (2022-06-15T02:33:10Z)
• Using virtual edges to extract keywords from texts modeled as complex networks [0.1611401281366893]
  我々は,単語とエッジが文脈的あるいは意味的類似性によって確立されるようなテキスト共起ネットワークをモデル化した。 実際、仮想エッジを使用することで、共起ネットワークの識別性が向上することがわかった。
  論文  参考訳（メタデータ） (2022-05-04T16:43:03Z)
• ME-GCN: Multi-dimensional Edge-Embedded Graph Convolutional Networks for Semi-supervised Text Classification [6.196387205547024]
  本稿では,半教師付きテキスト分類のためのME-GCN (Multi-dimensional Edge-enhanced Graph Convolutional Networks)を提案する。 提案モデルでは,8つのベンチマークデータセット間で最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-04-10T07:05:12Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Edge-Featured Graph Attention Network [7.0629162428807115]
  エッジ機能付きグラフアテンションネットワーク(EGAT)を提案し、グラフニューラルネットワークの利用をノードとエッジの両方の特徴を持つグラフ上で学習するタスクに拡張する。 モデル構造と学習プロセスを改革することにより、新しいモデルはノードとエッジの機能を入力として受け入れ、エッジ情報を機能表現に組み込むことができ、ノードとエッジの機能を並列かつ相互に反復することができる。
  論文  参考訳（メタデータ） (2021-01-19T15:08:12Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)
• EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
  本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。 EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。 これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
  論文  参考訳（メタデータ） (2020-01-21T15:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。