論文の概要: Mask and Reason: Pre-Training Knowledge Graph Transformers for Complex Logical Queries

• arxiv url: http://arxiv.org/abs/2208.07638v1
• Date: Tue, 16 Aug 2022 09:51:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-17 12:05:32.328913
• Title: Mask and Reason: Pre-Training Knowledge Graph Transformers for Complex Logical Queries
• Title（参考訳）: mask and reason: 複雑な論理クエリのための知識グラフトランスフォーマーの事前学習
• Authors: Xiao Liu, Shiyu Zhao, Kai Su, Yukuo Cen, Jiezhong Qiu, Mengdi Zhang, Wei Wu, Yuxiao Dong, Jie Tang
• Abstract要約: マスク付き事前学習と微調整を併用した知識グラフ変換器(kgTransformer)を提案する。 kgTransformerは、9つのドメイン内およびドメイン外推論タスクにおいて、KG埋め込みベースのベースラインと高度なエンコーダの両方を一貫して上回る。
• 参考スコア（独自算出の注目度）: 36.22117601006972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge graph (KG) embeddings have been a mainstream approach for reasoning over incomplete KGs. However, limited by their inherently shallow and static architectures, they can hardly deal with the rising focus on complex logical queries, which comprise logical operators, imputed edges, multiple source entities, and unknown intermediate entities. In this work, we present the Knowledge Graph Transformer (kgTransformer) with masked pre-training and fine-tuning strategies. We design a KG triple transformation method to enable Transformer to handle KGs, which is further strengthened by the Mixture-of-Experts (MoE) sparse activation. We then formulate the complex logical queries as masked prediction and introduce a two-stage masked pre-training strategy to improve transferability and generalizability. Extensive experiments on two benchmarks demonstrate that kgTransformer can consistently outperform both KG embedding-based baselines and advanced encoders on nine in-domain and out-of-domain reasoning tasks. Additionally, kgTransformer can reason with explainability via providing the full reasoning paths to interpret given answers.
• Abstract（参考訳）: 知識グラフ(KG)埋め込みは、不完全KGを推論する主要なアプローチである。 しかし、本質的に浅く静的なアーキテクチャによって制限されるため、論理演算子、インデュートエッジ、複数のソースエンティティ、未知の中間エンティティからなる複雑な論理クエリへの注目の高まりに対処できない。 本稿では、マスク付き事前学習と微調整戦略を備えた知識グラフ変換器(kgTransformer)を提案する。 我々は, 変圧器がkgを処理できるようにkgトリプル変換法を設計, それらはmoeのスパースアクティベーションによりさらに強化される。 次に,複雑な論理クエリをマスキング予測として定式化し,伝達性と一般化性を改善するために2段階のマスキング事前学習戦略を導入する。 2つのベンチマークでの大規模な実験により、kgTransformerは9つのドメイン内およびドメイン外推論タスクにおいて、KG埋め込みベースのベースラインと高度なエンコーダの両方を一貫して上回ることを示した。 さらに、kgTransformerは、与えられた回答を解釈する完全な推論パスを提供することで、説明責任を推論することができる。

関連論文リスト

• SymAgent: A Neural-Symbolic Self-Learning Agent Framework for Complex Reasoning over Knowledge Graphs [38.517345561999115]
  SymAgentは、知識グラフと大規模言語モデルとの協調的な拡張を実現する革新的なニューラルシンボリックエージェントフレームワークである。 我々はKGを動的環境として概念化し、複雑な推論タスクを多段階の対話プロセスに変換することにより、KGが推論プロセスに深く参加できるようにする。
  論文  参考訳（メタデータ） (2025-02-05T15:37:05Z)
• Enhancing Transformers for Generalizable First-Order Logical Entailment [51.04944136538266]
  本稿では,変圧器のパラメータ化知識を用いた一階論理推論能力について検討する。 変圧器の1次推論能力は、その1次論理的推論を実行する能力を通じて評価される。 変換器における一階述語論理包含を一般化する能力を高めるため,より洗練された論理型アーキテクチャTEGAを提案する。
  論文  参考訳（メタデータ） (2025-01-01T07:05:32Z)
• Unraveling the Gradient Descent Dynamics of Transformers [37.096572564254515]
  グラディエント・Descent (GD) は、特に入力埋め込み次元が大きい場合、大域的最適解を達成するためにトランスフォーマーモデルを訓練することができる。 ソフトマックスとガウスアテンションカーネルを用いて単一トランスフォーマー層の損失状況を分析する。
  論文  参考訳（メタデータ） (2024-11-12T04:33:56Z)
• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
  エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。 我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
  論文  参考訳（メタデータ） (2023-11-02T20:03:05Z)
• Query Structure Modeling for Inductive Logical Reasoning Over Knowledge Graphs [67.043747188954]
  KGに対する帰納的論理的推論のための構造モデル付きテキスト符号化フレームワークを提案する。 線形化されたクエリ構造とエンティティを、事前訓練された言語モデルを使ってエンコードして、回答を見つける。 2つの帰納的論理推論データセットと3つの帰納的推論データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-05-23T01:25:29Z)
• Pre-training Transformers for Knowledge Graph Completion [81.4078733132239]
  知識グラフの伝達可能な表現を学習するための新しい帰納的KG表現モデル(iHT)を提案する。 iHT はエンティティエンコーダ (BERT など) と、Transformer によってパラメータ化される隣り合うリレーショナルスコアリング関数からなる。 提案手法は,従来のSOTAモデルに比べて25%以上の相対的相互ランクの改善が得られた。
  論文  参考訳（メタデータ） (2023-03-28T02:10:37Z)
• BiT: Robustly Binarized Multi-distilled Transformer [36.06192421902272]
  実測精度の高いバイナライズトランスフォーマーモデルを開発し,5.9%の精度で完全精度のBERTベースラインにアプローチする。 これらのアプローチにより、事実上の精度で完全に双対化されたトランスフォーマーモデルが5.9%の精度で完全精度のBERTベースラインに近づいた。
  論文  参考訳（メタデータ） (2022-05-25T19:01:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。