論文の概要: KnowFormer: Revisiting Transformers for Knowledge Graph Reasoning

• arxiv url: http://arxiv.org/abs/2409.12865v1
• Date: Thu, 19 Sep 2024 16:08:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 13:10:09.669550
• Title: KnowFormer: Revisiting Transformers for Knowledge Graph Reasoning
• Title（参考訳）: KnowFormer:知識グラフ推論のための変換器の再検討
• Authors: Junnan Liu, Qianren Mao, Weifeng Jiang, Jianxin Li,
• Abstract要約: メッセージパッシングの観点から知識グラフの推論を行うために KnowFormer.KnowFormer を提案する。 構造情報を自己認識機構に組み込むため,クエリ,キー,値を計算する構造認識モジュールを導入する。 実験結果から, トランスダクティブベンチマークとインダクティブベンチマークの両方において, 顕著なベースライン手法と比較して, KnowFormer の優れた性能を示した。
• 参考スコア（独自算出の注目度）: 10.445709698341682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge graph reasoning plays a vital role in various applications and has garnered considerable attention. Recently, path-based methods have achieved impressive performance. However, they may face limitations stemming from constraints in message-passing neural networks, such as missing paths and information over-squashing. In this paper, we revisit the application of transformers for knowledge graph reasoning to address the constraints faced by path-based methods and propose a novel method KnowFormer.KnowFormer utilizes a transformer architecture to perform reasoning on knowledge graphs from the message-passing perspective, rather than reasoning by textual information like previous pretrained language model based methods. Specifically, we define the attention computation based on the query prototype of knowledge graph reasoning, facilitating convenient construction and efficient optimization. To incorporate structural information into the self-attention mechanism, we introduce structure-aware modules to calculate query, key, and value respectively. Additionally, we present an efficient attention computation method for better scalability. Experimental results demonstrate the superior performance of KnowFormer compared to prominent baseline methods on both transductive and inductive benchmarks.
• Abstract（参考訳）: 知識グラフ推論は様々な応用において重要な役割を担い、かなりの注目を集めている。 近年,パスベースの手法による性能向上が目覚ましい。 しかし、それらはメッセージパッシングニューラルネットワークの制約に起因する制限に直面している可能性がある。 本稿では,パスベースの手法が直面する制約に対処する知識グラフ推論のためのトランスフォーマーの適用を再検討し,従来の事前学習言語モデルに基づく手法のようなテキスト情報による推論ではなく,トランスフォーマーアーキテクチャを用いてメッセージパスの観点から知識グラフの推論を行う方法を提案する。 具体的には、知識グラフ推論のクエリープロトタイプに基づいて注意計算を定義し、簡便な構築と効率的な最適化を容易にする。 構造情報を自己認識機構に組み込むため,クエリ,キー,値のそれぞれを計算する構造認識モジュールを導入する。 さらに,より優れたスケーラビリティを実現するために,効率的な注意計算手法を提案する。 実験結果から, トランスダクティブベンチマークとインダクティブベンチマークの両方において, 顕著なベースライン手法と比較して, KnowFormer の優れた性能を示した。

関連論文リスト

• Question-guided Knowledge Graph Re-scoring and Injection for Knowledge Graph Question Answering [27.414670144354453]
  KGQAは知識グラフに格納された構造化情報を活用することで自然言語の質問に答える。 本稿では,Q-KGR(Q-Guided Knowledge Graph Re-scoring method)を提案する。 また,大規模言語モデルに再認識された知識グラフを注入するパラメータ効率の高い手法であるKnowformerを導入し,事実推論を行う能力を高める。
  論文  参考訳（メタデータ） (2024-10-02T10:27:07Z)
• Extending Transductive Knowledge Graph Embedding Models for Inductive Logical Relational Inference [0.5439020425819]
  この研究は、従来の帰納的知識グラフの埋め込みアプローチと、より最近の帰納的関係予測モデルとのギャップを埋めるものである。 本稿では,帰納的埋め込み法で学習した表現を活用して,推論時に導入された新しい実体の表現を帰納的設定で推論する一般調和拡張法を提案する。 多数の大規模知識グラフ埋め込みベンチマークの実験において、この手法は、帰納的知識グラフ埋め込みモデルの機能を拡張するためのものであり、いくつかのシナリオでは、そのような帰納的タスクのために明示的に導出される最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-09-07T15:24:18Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• Learning Graph Regularisation for Guided Super-Resolution [77.7568596501908]
  誘導超解像のための新しい定式化を導入する。 そのコアは、学習親和性グラフ上で動作する微分可能な最適化層である。 提案手法をいくつかのデータセット上で広範囲に評価し, 定量的な再構成誤差の点から最近のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2022-03-27T13:12:18Z)
• MERIt: Meta-Path Guided Contrastive Learning for Logical Reasoning [63.50909998372667]
  テキストの論理的ReasonIngに対して,Metaパスを用いたコントラスト学習手法であるMERItを提案する。 2つの新しい戦略が我々の手法の必須要素である。
  論文  参考訳（メタデータ） (2022-03-01T11:13:00Z)
• Information fusion between knowledge and data in Bayesian network structure learning [5.994412766684843]
  本稿では,オープンソースのベイジィス構造学習システムで実装された情報融合手法について述べる。 結果は、限定データとビッグデータの両方で示され、ベイジスで利用可能なBN構造学習アルゴリズムが3つ適用されている。
  論文  参考訳（メタデータ） (2021-01-31T15:45:29Z)
• Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
  情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。 相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
  論文  参考訳（メタデータ） (2020-09-07T16:47:30Z)
• Benchmarking neural embeddings for link prediction in knowledge graphs under semantic and structural changes [6.23228063561537]
  本稿では,ニューラルネットワークの精度をベンチマークするオープンソースの評価パイプラインを提案する。 我々は,リンク予測能力と知識グラフの構造を接続する関係中心の接続手段を定義する。
  論文  参考訳（メタデータ） (2020-05-15T17:15:45Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。