論文の概要: Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning

• arxiv url: http://arxiv.org/abs/2405.01649v2
• Date: Tue, 7 May 2024 16:10:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 18:43:54.902344
• Title: Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning
• Title（参考訳）: 論理型カリキュラムチューニングによる知識グラフによる複雑な推論の改善
• Authors: Tianle Xia, Liang Ding, Guojia Wan, Yibing Zhan, Bo Du, Dacheng Tao,
• Abstract要約: 大規模言語モデル(LLM)に基づく知識グラフ上の複雑な論理推論スキーマを提案する。 任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。 広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
• 参考スコア（独自算出の注目度）: 89.89857766491475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Answering complex logical queries over incomplete knowledge graphs (KGs) is challenging. Most previous works have focused on learning entity/relation embeddings and simulating first-order logic operators with various neural networks. However, they are bottlenecked by the inability to share world knowledge to improve logical reasoning, thus resulting in suboptimal performance. In this paper, we propose a complex logical reasoning schema over knowledge graphs upon large language models (LLMs), containing a curriculum-based logical-aware instruction tuning framework, named LACT. Specifically, we augment the arbitrary first-order logical queries via binary tree decomposition, to stimulate the reasoning capability of LLMs. To address the difficulty gap among different types of complex queries, we design a simple and flexible logic-aware curriculum learning framework. Experiments across widely used datasets demonstrate that LACT has substantial improvements~(brings an average +5.5% MRR score) over advanced methods, achieving the new state-of-the-art. Our code and model will be released at GitHub and huggingface soon.
• Abstract（参考訳）: 不完全知識グラフ(KG)上で複雑な論理的クエリを答えることは困難である。 これまでのほとんどの研究は、エンティティ/リレーション埋め込みの学習と、ニューラルネットワークによる一階述語論理演算子のシミュレートに重点を置いていた。 しかし、それらは論理的推論を改善するために世界知識を共有することができないためにボトルネックとなり、結果として準最適性能をもたらす。 本稿では,大規模言語モデル(LLM)に基づく知識グラフ上の複雑な論理推論スキーマを提案する。 具体的には、任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。 複雑な問合せの難易度に対処するため,我々はシンプルで柔軟な論理型学習フレームワークを設計する。 広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善され(平均+5.5%のMRRスコアを得る)、新しい最先端技術を実現している。 コードとモデルはすぐにGitHubでリリースされ、抱きしめます。

関連論文リスト

• Empower Nested Boolean Logic via Self-Supervised Curriculum Learning [67.46052028752327]
  大規模言語モデルを含む事前学習された言語モデルは、多言語論理に直面するランダムセレクタのように振る舞う。 この基本的能力で言語モデルを強化するために,本稿では,新たな自己教師付き学習手法であるtextitCurriculum Logical Reasoning (textscClr) を提案する。
  論文  参考訳（メタデータ） (2023-10-09T06:54:02Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)
• Query Structure Modeling for Inductive Logical Reasoning Over Knowledge Graphs [67.043747188954]
  KGに対する帰納的論理的推論のための構造モデル付きテキスト符号化フレームワークを提案する。 線形化されたクエリ構造とエンティティを、事前訓練された言語モデルを使ってエンコードして、回答を見つける。 2つの帰納的論理推論データセットと3つの帰納的推論データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-05-23T01:25:29Z)
• Complex Logical Reasoning over Knowledge Graphs using Large Language Models [13.594992599230277]
  知識グラフ(KG)に対する推論は、エンティティ間の関係を深く理解する必要がある課題である。 現在のアプローチは、論理的なクエリ操作のために、ベクトル空間にエンティティを埋め込むための学習ジオメトリに依存している。 本稿では,文脈的KG探索と論理的クエリ推論を組み合わせた複雑なKG推論を定式化する,言語誘導型知識グラフによる抽象推論(LARK)を提案する。
  論文  参考訳（メタデータ） (2023-05-02T02:21:49Z)
• Logical Message Passing Networks with One-hop Inference on Atomic Formulas [57.47174363091452]
  本稿では,ニューラルネットワーク演算子から知識グラフの埋め込みを分解する,複雑な問合せ応答のためのフレームワークを提案する。 クエリグラフの上に、局所的な原子式上のワンホップ推論とグローバル論理的推論を結びつける論理メッセージパッシングニューラルネットワーク(LMPNN)を提案する。 我々のアプローチは、最先端のニューラルCQAモデルをもたらす。
  論文  参考訳（メタデータ） (2023-01-21T02:34:06Z)
• Neural Methods for Logical Reasoning Over Knowledge Graphs [14.941769519278745]
  知識グラフ(KGs)上でのマルチホップ論理的クエリの応答に焦点をあてる。 これまでのほとんどの作業では、FOL(First-Order Logical)クエリを完全に受け入れるモデルを作成することができなかった。 本稿では,ニューラルネットワークを用いて一点ベクトル埋め込みを生成し,問合せに答えるモデルを提案する。
  論文  参考訳（メタデータ） (2022-09-28T23:10:09Z)
• Neural-Symbolic Models for Logical Queries on Knowledge Graphs [17.290758383645567]
  両世界の利点を享受するニューラルシンボリックモデルであるグラフニューラルネットワーククエリ実行器(GNN-QE)を提案する。 GNN-QEは複雑なFOLクエリを、ファジィ集合上の関係投影と論理演算に分解する。 3つのデータセットの実験により、GNN-QEはFOLクエリに応答する以前の最先端モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-05-16T18:39:04Z)
• Evaluating Logical Generalization in Graph Neural Networks [59.70452462833374]
  グラフニューラルネットワーク(GNN)を用いた論理一般化の課題について検討する。 ベンチマークスイートであるGraphLogでは、学習アルゴリズムが異なる合成論理でルール誘導を実行する必要がある。 モデルが一般化し適応する能力は、トレーニング中に遭遇する論理規則の多様性によって強く決定される。
  論文  参考訳（メタデータ） (2020-03-14T05:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。