Fugu-MT 論文翻訳(概要): ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph

論文の概要: ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph

arxiv url: http://arxiv.org/abs/2401.00158v1
Date: Sat, 30 Dec 2023 07:18:54 GMT
ステータス: 処理完了
システム内更新日: 2024-01-03 18:44:49.575288
Title: ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph
Title（参考訳）: ReasoningLM:知識グラフに対する質問応答のための事前学習言語モデルにおける構造部分グラフ推論の実現
Authors: Jinhao Jiang, Kun Zhou, Wayne Xin Zhao, Yaliang Li, Ji-Rong Wen
Abstract要約: 本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
参考スコア（独自算出の注目度）: 142.42275983201978
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Question Answering over Knowledge Graph (KGQA) aims to seek answer entities for the natural language question from a large-scale Knowledge Graph~(KG). To better perform reasoning on KG, recent work typically adopts a pre-trained language model~(PLM) to model the question, and a graph neural network~(GNN) based module to perform multi-hop reasoning on the KG. Despite the effectiveness, due to the divergence in model architecture, the PLM and GNN are not closely integrated, limiting the knowledge sharing and fine-grained feature interactions. To solve it, we aim to simplify the above two-module approach, and develop a more capable PLM that can directly support subgraph reasoning for KGQA, namely ReasoningLM. In our approach, we propose a subgraph-aware self-attention mechanism to imitate the GNN for performing structured reasoning, and also adopt an adaptation tuning strategy to adapt the model parameters with 20,000 subgraphs with synthesized questions. After adaptation, the PLM can be parameter-efficient fine-tuned on downstream tasks. Experiments show that ReasoningLM surpasses state-of-the-art models by a large margin, even with fewer updated parameters and less training data. Our codes and data are publicly available at~\url{https://github.com/RUCAIBox/ReasoningLM}.
Abstract（参考訳）: 知識グラフに関する質問回答(KGQA)は,大規模知識グラフ(KG)から自然言語質問に対する回答エンティティを求めることを目的としている。 KGの推論をより良く行うために、最近の研究は、質問をモデル化するために事前訓練された言語モデル~(PLM)と、KG上でマルチホップ推論を実行するためのグラフニューラルネットワーク~(GNN)ベースのモジュールを採用するのが一般的である。この効果にもかかわらず、モデルアーキテクチャのばらつきのため、PLMとGNNは密に統合されておらず、知識共有ときめ細かい特徴相互作用を制限している。これを解決するため、上記の2つのモジュールアプローチを単純化し、より有能なplmを開発し、kgqaのサブグラフ推論、すなわちreasoninglmを直接サポートすることを目指している。本稿では,GNNを模倣して構造化推論を行うサブグラフ認識型自己認識機構を提案するとともに,モデルパラメータを2万のサブグラフに適応させる適応調整手法を採用する。適応後、PLMは下流タスクでパラメータ効率の良い微調整ができる。実験によると、reasoninglmは最新のモデルを大きく上回っており、パラメータの更新も少なく、トレーニングデータも少ない。私たちのコードとデータは、~\url{https://github.com/RUCAIBox/ReasoningLM}で公開されています。

関連論文リスト

Language Models are Graph Learners [70.14063765424012]
言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
論文参考訳（メタデータ） (2024-10-03T08:27:54Z)
GOFA: A Generative One-For-All Model for Joint Graph Language Modeling [38.267339613261996]
この問題を解決するために,新たに生成グラフ言語モデルGOFAを提案する。 GOFAは、新たに提案されたグラフレベルの次単語予測、質問応答、構造的タスクに基づいて事前訓練されている。モデルは様々な下流タスクに基づいて評価され、ゼロショットシナリオにおける構造的および文脈的問題を解く強力な能力を示す。
論文参考訳（メタデータ） (2024-07-12T22:23:51Z)
GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning [21.057810495833063]
本稿では,LLMの言語理解能力とGNNの推論能力を組み合わせた検索強化世代(RAG)形式の新しい手法であるGNN-RAGを紹介する。我々のGNN-RAGフレームワークでは、GNNはグラフ情報を抽出するために高密度なサブグラフ推論器として機能する。実験により、GNN-RAGは2つの広く使用されているKGQAベンチマークで最先端のパフォーマンスを達成することが示された。
論文参考訳（メタデータ） (2024-05-30T15:14:24Z)
G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning [8.02547453169677]
本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
論文参考訳（メタデータ） (2024-05-09T08:28:12Z)
Graph Neural Prompting with Large Language Models [32.97391910476073]
Graph Neural Prompting (GNP)は、知識グラフから有益な知識を学ぶために、事前訓練された言語モデルを支援するための新しいプラグアンドプレイ方式である。複数のデータセットに対する大規模な実験は、常識的および生物医学的推論タスクにおいて、GNPの優位性を示す。
論文参考訳（メタデータ） (2023-09-27T06:33:29Z)
Logical Message Passing Networks with One-hop Inference on Atomic Formulas [57.47174363091452]
本稿では,ニューラルネットワーク演算子から知識グラフの埋め込みを分解する,複雑な問合せ応答のためのフレームワークを提案する。クエリグラフの上に、局所的な原子式上のワンホップ推論とグローバル論理的推論を結びつける論理メッセージパッシングニューラルネットワーク(LMPNN)を提案する。我々のアプローチは、最先端のニューラルCQAモデルをもたらす。
論文参考訳（メタデータ） (2023-01-21T02:34:06Z)
UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
論文参考訳（メタデータ） (2022-12-02T04:08:09Z)
Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
論文参考訳（メタデータ） (2022-10-17T18:02:52Z)
A Meta-Learning Approach for Training Explainable Graph Neural Networks [10.11960004698409]
本稿では,GNNの学習時間における説明可能性向上のためのメタラーニングフレームワークを提案する。我々のフレームワークは、例えばノード分類などの元のタスクを解決するためにモデルを共同で訓練し、下流アルゴリズムで容易に処理可能な出力を提供する。我々のモデルに依存しないアプローチは、異なるGNNアーキテクチャで生成された説明を改善し、このプロセスを駆動するためにインスタンスベースの説明器を使用することができます。
論文参考訳（メタデータ） (2021-09-20T11:09:10Z)
Toward Subgraph-Guided Knowledge Graph Question Generation with Graph Neural Networks [53.58077686470096]
知識グラフ(KG)質問生成(QG)は,KGから自然言語質問を生成することを目的とする。本研究は,KGサブグラフから質問を生成し,回答をターゲットとする,より現実的な環境に焦点を当てる。
論文参考訳（メタデータ） (2020-04-13T15:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。