論文の概要: JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering

• arxiv url: http://arxiv.org/abs/2112.02732v1
• Date: Mon, 6 Dec 2021 01:46:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 14:25:12.835795
• Title: JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering
• Title（参考訳）: JointLK:Commonsense Question Answeringのための言語モデルと知識グラフの統合推論
• Authors: Yueqing Sun, Qi Shi, Le Qi, Yu Zhang
• Abstract要約: 質問応答のための既存のKG拡張モデルは主に知識グラフ(KG)をモデル化するための精巧なグラフニューラルネットワーク(GNN)の設計に焦点を当てている。 本稿では,LMとGNNの結合推論と動的KGs刈り込み機構により,上記の制約を解く新しいモデルであるJointLKを提案する。 CommonsenseQA と OpenBookQA のデータセットで得られた結果は,我々のモーダルフュージョンとナレッジ・プルーニングの手法が推論に関連性のある知識をうまく活用できることを実証している。
• 参考スコア（独自算出の注目度）: 3.7948783125888363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing KG-augmented models for question answering primarily focus on designing elaborate Graph Neural Networks (GNNs) to model knowledge graphs (KGs). However, they ignore (i) the effectively fusing and reasoning over question context representations and the KG representations, and (ii) automatically selecting relevant nodes from the noisy KGs during reasoning. In this paper, we propose a novel model, JointLK, which solves the above limitations through the joint reasoning of LMs and GNNs and the dynamic KGs pruning mechanism. Specifically, JointLK performs joint reasoning between the LMs and the GNNs through a novel dense bidirectional attention module, in which each question token attends on KG nodes and each KG node attends on question tokens, and the two modal representations fuse and update mutually by multi-step interactions. Then, the dynamic pruning module uses the attention weights generated by joint reasoning to recursively prune irrelevant KG nodes. Our results on the CommonsenseQA and OpenBookQA datasets demonstrate that our modal fusion and knowledge pruning methods can make better use of relevant knowledge for reasoning.
• Abstract（参考訳）: 質問応答のための既存のKG拡張モデルは、主に知識グラフ(KG)をモデル化するための精巧なグラフニューラルネットワーク(GNN)の設計に焦点を当てている。 しかし彼らは無視する 一 質問文脈表現及びKG表現を効果的に融合し、推論すること。 (ii)推論中にノイズkgsから関連ノードを自動的に選択する。 本稿では,LMとGNNの結合推論と動的KGsプルーニング機構により,上記の制約を解決する新しいモデルであるJointLKを提案する。 具体的には、jointlkはlmsとgnnの合同推論を行い、各質問トークンがkgノードに、各kgノードが質問トークンに、そして2つのモーダル表現がマルチステップインタラクションによって相互に融合し、更新する、新しい密集した双方向注意モジュールを介する。 そして、動的プルーニングモジュールは、ジョイント推論によって生成された注意重みを用いて、無関係なkgノードを再帰的にプルーニングする。 CommonsenseQA と OpenBookQA のデータセットで得られた結果は,我々のモーダルフュージョンとナレッジ・プルーニングの手法が,関連知識の推論に有効であることを示す。

関連論文リスト

• A Prompt-Based Knowledge Graph Foundation Model for Universal In-Context Reasoning [17.676185326247946]
  そこで本研究では,テキスト内学習,すなわちKG-ICLを介し,プロンプトに基づくKGファウンデーションモデルを提案する。 クエリにおけるエンティティや関係を発見できないような一般化機能を備えたプロンプトグラフを符号化するために,まず統一トークン化器を提案する。 そこで我々は,プロンプトエンコーディングとKG推論を行う2つのメッセージパッシングニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2024-10-16T06:47:18Z)
• GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning [21.057810495833063]
  本稿では,LLMの言語理解能力とGNNの推論能力を組み合わせた検索強化世代(RAG)形式の新しい手法であるGNN-RAGを紹介する。 我々のGNN-RAGフレームワークでは、GNNはグラフ情報を抽出するために高密度なサブグラフ推論器として機能する。 実験により、GNN-RAGは2つの広く使用されているKGQAベンチマークで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-05-30T15:14:24Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• Dynamic Relevance Graph Network for Knowledge-Aware Question Answering [22.06211725256875]
  本研究は,外部知識の源泉となるコモンセンス質問回答の学習と推論の課題について考察する。 我々はDynamic Relevance Graph Network (DRGN)と呼ばれる新しいグラフニューラルネットワークアーキテクチャを提案する。 DRGNは、質問に基づいて与えられたKGサブグラフで動作し、エンティティに回答し、ノード間の関連スコアを使用して新しいエッジを確立する。
  論文  参考訳（メタデータ） (2022-09-20T18:52:05Z)
• GreaseLM: Graph REASoning Enhanced Language Models for Question Answering [159.9645181522436]
  GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。 GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
  論文  参考訳（メタデータ） (2022-01-21T19:00:05Z)
• QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering [122.84513233992422]
  学習済み言語モデル(LM)と知識グラフ(KG)の知識を用いて質問に答える問題に対処する新しいモデルであるQA-GNNを提案する。 既存のLMとLM+KGモデルに対する改善と、解釈可能で構造化された推論を行う能力を示しています。
  論文  参考訳（メタデータ） (2021-04-13T17:32:51Z)
• Learning Intents behind Interactions with Knowledge Graph for Recommendation [93.08709357435991]
  知識グラフ(KG)は、推薦システムにおいてますます重要な役割を果たす。 既存のGNNベースのモデルは、きめ細かいインテントレベルでのユーザ項目関係の特定に失敗します。 本稿では,新しいモデルである知識グラフベースインテントネットワーク(kgin)を提案する。
  論文  参考訳（メタデータ） (2021-02-14T03:21:36Z)
• Jointly Cross- and Self-Modal Graph Attention Network for Query-Based Moment Localization [77.21951145754065]
  本稿では,共同グラフを渡る反復的メッセージのプロセスとして,このタスクをリキャストするクロスモーダルグラフ注意ネットワーク(CSMGAN)を提案する。 CSMGANは2つのモード間の高次相互作用を効果的に捉えることができ、より正確な局所化を可能にします。
  論文  参考訳（メタデータ） (2020-08-04T08:25:24Z)
• Toward Subgraph-Guided Knowledge Graph Question Generation with Graph Neural Networks [53.58077686470096]
  知識グラフ(KG)質問生成(QG)は,KGから自然言語質問を生成することを目的とする。 本研究は,KGサブグラフから質問を生成し,回答をターゲットとする,より現実的な環境に焦点を当てる。
  論文  参考訳（メタデータ） (2020-04-13T15:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。