論文の概要: Mask and Reason: Pre-Training Knowledge Graph Transformers for Complex Logical Queries

• arxiv url: http://arxiv.org/abs/2208.07638v1
• Date: Tue, 16 Aug 2022 09:51:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-17 12:05:32.328913
• Title: Mask and Reason: Pre-Training Knowledge Graph Transformers for Complex Logical Queries
• Title（参考訳）: mask and reason: 複雑な論理クエリのための知識グラフトランスフォーマーの事前学習
• Authors: Xiao Liu, Shiyu Zhao, Kai Su, Yukuo Cen, Jiezhong Qiu, Mengdi Zhang, Wei Wu, Yuxiao Dong, Jie Tang
• Abstract要約: マスク付き事前学習と微調整を併用した知識グラフ変換器(kgTransformer)を提案する。 kgTransformerは、9つのドメイン内およびドメイン外推論タスクにおいて、KG埋め込みベースのベースラインと高度なエンコーダの両方を一貫して上回る。
• 参考スコア（独自算出の注目度）: 36.22117601006972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge graph (KG) embeddings have been a mainstream approach for reasoning over incomplete KGs. However, limited by their inherently shallow and static architectures, they can hardly deal with the rising focus on complex logical queries, which comprise logical operators, imputed edges, multiple source entities, and unknown intermediate entities. In this work, we present the Knowledge Graph Transformer (kgTransformer) with masked pre-training and fine-tuning strategies. We design a KG triple transformation method to enable Transformer to handle KGs, which is further strengthened by the Mixture-of-Experts (MoE) sparse activation. We then formulate the complex logical queries as masked prediction and introduce a two-stage masked pre-training strategy to improve transferability and generalizability. Extensive experiments on two benchmarks demonstrate that kgTransformer can consistently outperform both KG embedding-based baselines and advanced encoders on nine in-domain and out-of-domain reasoning tasks. Additionally, kgTransformer can reason with explainability via providing the full reasoning paths to interpret given answers.
• Abstract（参考訳）: 知識グラフ(KG)埋め込みは、不完全KGを推論する主要なアプローチである。 しかし、本質的に浅く静的なアーキテクチャによって制限されるため、論理演算子、インデュートエッジ、複数のソースエンティティ、未知の中間エンティティからなる複雑な論理クエリへの注目の高まりに対処できない。 本稿では、マスク付き事前学習と微調整戦略を備えた知識グラフ変換器(kgTransformer)を提案する。 我々は, 変圧器がkgを処理できるようにkgトリプル変換法を設計, それらはmoeのスパースアクティベーションによりさらに強化される。 次に,複雑な論理クエリをマスキング予測として定式化し,伝達性と一般化性を改善するために2段階のマスキング事前学習戦略を導入する。 2つのベンチマークでの大規模な実験により、kgTransformerは9つのドメイン内およびドメイン外推論タスクにおいて、KG埋め込みベースのベースラインと高度なエンコーダの両方を一貫して上回ることを示した。 さらに、kgTransformerは、与えられた回答を解釈する完全な推論パスを提供することで、説明責任を推論することができる。

関連論文リスト

• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• On the Optimization and Generalization of Two-layer Transformers with Sign Gradient Descent [51.50999191584981]
  Sign Gradient Descent (SignGD) はアダムの効果的なサロゲートである。 我々はSignGDが雑音の多いデータセット上で2層トランスを最適化する方法について検討する。 SignGDの一般化が不十分なのはデータノイズによるものではなく、SignGDとAdamの両方が現実世界のタスクに高品質なデータを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2024-10-07T09:36:43Z)
• Grokked Transformers are Implicit Reasoners: A Mechanistic Journey to the Edge of Generalization [22.033370572209744]
  我々は、トランスフォーマーがパラメトリック知識よりも暗黙的に推論できるかどうかを研究する。 我々は2つの代表的な推論タイプ、構成と比較に焦点を当てる。 トランスフォーマーは暗黙の推論を学習できるが、それはグルーキングでしか学べない。
  論文  参考訳（メタデータ） (2024-05-23T21:42:19Z)
• Beyond Scaling Laws: Understanding Transformer Performance with Associative Memory [11.3128832831327]
  Transformerモデルのサイズが大きくなると、パフォーマンスが向上するとは限らない。 モデルがトレーニングサンプルを記憶するにつれて、一般化能力が向上する。 本稿では,変圧器に基づく言語モデルの記憶過程と性能動態に光を当てる理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-14T15:48:36Z)
• On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
  エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。 我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
  論文  参考訳（メタデータ） (2023-11-02T20:03:05Z)
• Query Structure Modeling for Inductive Logical Reasoning Over Knowledge Graphs [67.043747188954]
  KGに対する帰納的論理的推論のための構造モデル付きテキスト符号化フレームワークを提案する。 線形化されたクエリ構造とエンティティを、事前訓練された言語モデルを使ってエンコードして、回答を見つける。 2つの帰納的論理推論データセットと3つの帰納的推論データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-05-23T01:25:29Z)
• Pre-training Transformers for Knowledge Graph Completion [81.4078733132239]
  知識グラフの伝達可能な表現を学習するための新しい帰納的KG表現モデル(iHT)を提案する。 iHT はエンティティエンコーダ (BERT など) と、Transformer によってパラメータ化される隣り合うリレーショナルスコアリング関数からなる。 提案手法は,従来のSOTAモデルに比べて25%以上の相対的相互ランクの改善が得られた。
  論文  参考訳（メタデータ） (2023-03-28T02:10:37Z)
• Structure Pretraining and Prompt Tuning for Knowledge Graph Transfer [22.8376402253312]
  知識グラフ事前学習モデルKGTransformerを提案する。 サンプルサブグラフを入力として,KGTransformerを3つの自己教師型タスクで事前訓練する。 我々はKGTransformerを3つのタスク、トリプル分類、ゼロショット画像分類、質問応答で評価する。
  論文  参考訳（メタデータ） (2023-03-03T02:58:17Z)
• BiT: Robustly Binarized Multi-distilled Transformer [36.06192421902272]
  実測精度の高いバイナライズトランスフォーマーモデルを開発し,5.9%の精度で完全精度のBERTベースラインにアプローチする。 これらのアプローチにより、事実上の精度で完全に双対化されたトランスフォーマーモデルが5.9%の精度で完全精度のBERTベースラインに近づいた。
  論文  参考訳（メタデータ） (2022-05-25T19:01:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。