論文の概要: Mask and Reason: Pre-Training Knowledge Graph Transformers for Complex
Logical Queries
- arxiv url: http://arxiv.org/abs/2208.07638v1
- Date: Tue, 16 Aug 2022 09:51:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-17 12:05:32.328913
- Title: Mask and Reason: Pre-Training Knowledge Graph Transformers for Complex
Logical Queries
- Title(参考訳): mask and reason: 複雑な論理クエリのための知識グラフトランスフォーマーの事前学習
- Authors: Xiao Liu, Shiyu Zhao, Kai Su, Yukuo Cen, Jiezhong Qiu, Mengdi Zhang,
Wei Wu, Yuxiao Dong, Jie Tang
- Abstract要約: マスク付き事前学習と微調整を併用した知識グラフ変換器(kgTransformer)を提案する。
kgTransformerは、9つのドメイン内およびドメイン外推論タスクにおいて、KG埋め込みベースのベースラインと高度なエンコーダの両方を一貫して上回る。
- 参考スコア(独自算出の注目度): 36.22117601006972
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge graph (KG) embeddings have been a mainstream approach for reasoning
over incomplete KGs. However, limited by their inherently shallow and static
architectures, they can hardly deal with the rising focus on complex logical
queries, which comprise logical operators, imputed edges, multiple source
entities, and unknown intermediate entities. In this work, we present the
Knowledge Graph Transformer (kgTransformer) with masked pre-training and
fine-tuning strategies. We design a KG triple transformation method to enable
Transformer to handle KGs, which is further strengthened by the
Mixture-of-Experts (MoE) sparse activation. We then formulate the complex
logical queries as masked prediction and introduce a two-stage masked
pre-training strategy to improve transferability and generalizability.
Extensive experiments on two benchmarks demonstrate that kgTransformer can
consistently outperform both KG embedding-based baselines and advanced encoders
on nine in-domain and out-of-domain reasoning tasks. Additionally,
kgTransformer can reason with explainability via providing the full reasoning
paths to interpret given answers.
- Abstract(参考訳): 知識グラフ(KG)埋め込みは、不完全KGを推論する主要なアプローチである。
しかし、本質的に浅く静的なアーキテクチャによって制限されるため、論理演算子、インデュートエッジ、複数のソースエンティティ、未知の中間エンティティからなる複雑な論理クエリへの注目の高まりに対処できない。
本稿では、マスク付き事前学習と微調整戦略を備えた知識グラフ変換器(kgTransformer)を提案する。
我々は, 変圧器がkgを処理できるようにkgトリプル変換法を設計, それらはmoeのスパースアクティベーションによりさらに強化される。
次に,複雑な論理クエリをマスキング予測として定式化し,伝達性と一般化性を改善するために2段階のマスキング事前学習戦略を導入する。
2つのベンチマークでの大規模な実験により、kgTransformerは9つのドメイン内およびドメイン外推論タスクにおいて、KG埋め込みベースのベースラインと高度なエンコーダの両方を一貫して上回ることを示した。
さらに、kgTransformerは、与えられた回答を解釈する完全な推論パスを提供することで、説明責任を推論することができる。
関連論文リスト
- On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。
我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
論文 参考訳(メタデータ) (2023-11-02T20:03:05Z) - Query Structure Modeling for Inductive Logical Reasoning Over Knowledge
Graphs [67.043747188954]
KGに対する帰納的論理的推論のための構造モデル付きテキスト符号化フレームワークを提案する。
線形化されたクエリ構造とエンティティを、事前訓練された言語モデルを使ってエンコードして、回答を見つける。
2つの帰納的論理推論データセットと3つの帰納的推論データセットについて実験を行った。
論文 参考訳(メタデータ) (2023-05-23T01:25:29Z) - Complex Logical Reasoning over Knowledge Graphs using Large Language
Models [10.056167107654089]
知識グラフ(KG)に対する推論は、エンティティ間の関係を深く理解する必要がある課題である。
現在のアプローチは、論理的なクエリ操作のために、ベクトル空間にエンティティを埋め込むための学習ジオメトリに依存している。
本稿では,文脈的KG探索と論理的クエリ推論を組み合わせた複雑なKG推論を定式化する,言語誘導型知識グラフによる抽象推論(LARK)を提案する。
論文 参考訳(メタデータ) (2023-05-02T02:21:49Z) - Pre-training Transformers for Knowledge Graph Completion [81.4078733132239]
知識グラフの伝達可能な表現を学習するための新しい帰納的KG表現モデル(iHT)を提案する。
iHT はエンティティエンコーダ (BERT など) と、Transformer によってパラメータ化される隣り合うリレーショナルスコアリング関数からなる。
提案手法は,従来のSOTAモデルに比べて25%以上の相対的相互ランクの改善が得られた。
論文 参考訳(メタデータ) (2023-03-28T02:10:37Z) - Structure Pretraining and Prompt Tuning for Knowledge Graph Transfer [22.8376402253312]
知識グラフ事前学習モデルKGTransformerを提案する。
サンプルサブグラフを入力として,KGTransformerを3つの自己教師型タスクで事前訓練する。
我々はKGTransformerを3つのタスク、トリプル分類、ゼロショット画像分類、質問応答で評価する。
論文 参考訳(メタデータ) (2023-03-03T02:58:17Z) - Logical Message Passing Networks with One-hop Inference on Atomic
Formulas [57.47174363091452]
本稿では,ニューラルネットワーク演算子から知識グラフの埋め込みを分解する,複雑な問合せ応答のためのフレームワークを提案する。
クエリグラフの上に、局所的な原子式上のワンホップ推論とグローバル論理的推論を結びつける論理メッセージパッシングニューラルネットワーク(LMPNN)を提案する。
我々のアプローチは、最先端のニューラルCQAモデルをもたらす。
論文 参考訳(メタデータ) (2023-01-21T02:34:06Z) - BiT: Robustly Binarized Multi-distilled Transformer [36.06192421902272]
実測精度の高いバイナライズトランスフォーマーモデルを開発し,5.9%の精度で完全精度のBERTベースラインにアプローチする。
これらのアプローチにより、事実上の精度で完全に双対化されたトランスフォーマーモデルが5.9%の精度で完全精度のBERTベースラインに近づいた。
論文 参考訳(メタデータ) (2022-05-25T19:01:54Z) - RetroMAE: Pre-training Retrieval-oriented Transformers via Masked
Auto-Encoder [15.24707645921207]
本稿では,RetroMAE として知られる Masked Auto-Encoder に基づく高密度検索のための新しい事前学習フレームワークを提案する。
私たちは、英語のWikipediaやBookCorpusでBERTのようなエンコーダを事前訓練しています。
論文 参考訳(メタデータ) (2022-05-24T12:43:04Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。