論文の概要: Relphormer: Relational Graph Transformer for Knowledge Graph Representation

• arxiv url: http://arxiv.org/abs/2205.10852v1
• Date: Sun, 22 May 2022 15:30:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 17:11:01.077114
• Title: Relphormer: Relational Graph Transformer for Knowledge Graph Representation
• Title（参考訳）: relphormer: ナレッジグラフ表現のための関係グラフトランスフォーマー
• Authors: Zhen Bi, Siyuan Cheng, Ningyu Zhang, Xiaozhuan Liang, Feiyu Xiong, Huajun Chen
• Abstract要約: 本稿では,Relphormerと呼ばれる知識グラフ表現のためのTransformerの新たな変種を提案する。 具体的には、Transformerの入力としてコンテキスト化されたサブグラフシーケンスを動的にサンプリングできるTriple2Seqを紹介する。 次に、関係情報をエンコードし、サブグラフ間のグローバルな意味情報を保持するための構造強化自己認識機構を提案する。
• 参考スコア（独自算出の注目度）: 29.701812699972567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have achieved remarkable performance in widespread fields, including natural language processing, computer vision and graph mining. However, in the knowledge graph representation, where translational distance paradigm dominates this area, vanilla Transformer architectures have not yielded promising improvements. Note that vanilla Transformer architectures struggle to capture the intrinsically semantic and structural information of knowledge graphs and can hardly scale to long-distance neighbors due to quadratic dependency. To this end, we propose a new variant of Transformer for knowledge graph representation dubbed Relphormer. Specifically, we introduce Triple2Seq which can dynamically sample contextualized sub-graph sequences as the input of the Transformer to alleviate the scalability issue. We then propose a novel structure-enhanced self-attention mechanism to encode the relational information and keep the globally semantic information among sub-graphs. Moreover, we propose masked knowledge modeling as a new paradigm for knowledge graph representation learning to unify different link prediction tasks. Experimental results show that our approach can obtain better performance on benchmark datasets compared with baselines.
• Abstract（参考訳）: トランスフォーマーは自然言語処理、コンピュータビジョン、グラフマイニングなど幅広い分野において顕著な性能を発揮している。 しかし、翻訳距離パラダイムがこの分野を支配している知識グラフ表現では、バニラトランスフォーマーアーキテクチャは有望な改善を得られていない。 注意すべきは、バニラトランスフォーマーアーキテクチャは知識グラフの本質的意味的および構造的情報を捉えるのに苦労しており、二次依存のため長距離の隣人にはほとんどスケールできないことである。 そこで本研究では,Relphormerと呼ばれる知識グラフ表現のためのTransformerの新たな変種を提案する。 具体的には、Triple2Seqを導入し、コンテキスト化されたサブグラフシーケンスをTransformerの入力として動的にサンプリングし、スケーラビリティの問題を軽減する。 次に、関係情報をエンコードし、サブグラフ間のグローバルな意味情報を保持するための構造強化自己認識機構を提案する。 さらに,異なるリンク予測タスクを統合するための知識グラフ表現学習のための新しいパラダイムとして,マスク付き知識モデリングを提案する。 実験結果から,本手法はベースラインと比較してベンチマークデータセットの性能が向上することが示された。

関連論文リスト

• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction [76.35904458027694]
  マスク付きオートエンコーダモデルは、グラフデータに対する優れた一般化能力に欠ける。 本稿では,GiGaMAEと呼ばれる新しいグラフマスマスキングオートエンコーダフレームワークを提案する。 私たちの結果は、グラフ構造化データに基づく基礎モデルの設計に光を当てます。
  論文  参考訳（メタデータ） (2023-08-18T16:30:51Z)
• Exphormer: Sparse Transformers for Graphs [5.055213942955148]
  パワフルでスケーラブルなグラフトランスフォーマーを構築するためのフレームワークであるExphormerを紹介します。 Exphormerは、様々なグラフデータセット上で、競争力のある実験結果を持つモデルを生成する。
  論文  参考訳（メタデータ） (2023-03-10T18:59:57Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• What does Transformer learn about source code? [26.674180481543264]
  トランスをベースとした表現モデルは、多くのタスクで最先端(SOTA)のパフォーマンスを達成した。 本稿では,変換器が学習した構造情報を調べる手法であるアグリゲートアテンションスコアを提案する。 また、事前学習したモデルからプログラムグラフを自動的に抽出する新しい方法である、集約されたアテンショングラフも提案した。
  論文  参考訳（メタデータ） (2022-07-18T09:33:04Z)
• Can Language Models Capture Graph Semantics? From Graphs to Language Model and Vice-Versa [5.340730281227837]
  我々は、ディープラーニングモデルがグラフを圧縮し、ほとんどの意味論をそのままで同じグラフを出力できるかどうかを調査する。 実験の結果,Transformerモデルでは入力知識グラフの完全な意味を表現できないことがわかった。
  論文  参考訳（メタデータ） (2022-06-18T18:12:20Z)
• Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
  グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。 まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。 本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
  論文  参考訳（メタデータ） (2022-02-17T06:02:06Z)
• GraphiT: Encoding Graph Structure in Transformers [37.33808493548781]
  古典的グラフニューラルネットワーク(GNN)を用いて学習した表現を,ノードの特徴と構造的および位置的情報の集合として見ることにより,より優れた表現を実現できることを示す。 我々のモデルであるGraphiTは,グラフ上の正定値カーネルに基づく自己注意スコアにおける相対的な位置符号化戦略と,短距離パスなどの局所的なサブ構造を列挙して符号化することで,そのような情報を符号化する。
  論文  参考訳（メタデータ） (2021-06-10T11:36:22Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)
• Building powerful and equivariant graph neural networks with structural message-passing [74.93169425144755]
  本稿では,2つのアイデアに基づいた,強力かつ同変なメッセージパッシングフレームワークを提案する。 まず、各ノードの周囲の局所的コンテキスト行列を学習するために、特徴に加えてノードの1ホット符号化を伝搬する。 次に,メッセージのパラメトリゼーション手法を提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:15:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。