論文の概要: SemPool: Simple, robust, and interpretable KG pooling for enhancing
language models
- arxiv url: http://arxiv.org/abs/2402.02289v1
- Date: Sat, 3 Feb 2024 23:03:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 20:50:55.820879
- Title: SemPool: Simple, robust, and interpretable KG pooling for enhancing
language models
- Title(参考訳): SemPool: 言語モデルを強化するためのシンプルで堅牢で解釈可能なKGプール
- Authors: Costas Mavromatis, Petros Karypis, George Karypis
- Abstract要約: 知識グラフ(KG)の有用な意味を学習する簡単なグラフプーリング手法を提案する。
SemPoolと呼ばれるこの手法は、事前訓練されたLMを用いてKGの事実を表現し、それらの意味情報を収集し、LMの異なる層で融合する。
実験の結果,回答情報がKGから欠落している場合,SemPoolは最先端のGNNベースの手法を平均2.27%上回ることがわかった。
- 参考スコア(独自算出の注目度): 21.057810495833063
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge Graph (KG) powered question answering (QA) performs complex
reasoning over language semantics as well as knowledge facts. Graph Neural
Networks (GNNs) learn to aggregate information from the underlying KG, which is
combined with Language Models (LMs) for effective reasoning with the given
question. However, GNN-based methods for QA rely on the graph information of
the candidate answer nodes, which limits their effectiveness in more
challenging settings where critical answer information is not included in the
KG. We propose a simple graph pooling approach that learns useful semantics of
the KG that can aid the LM's reasoning and that its effectiveness is robust
under graph perturbations. Our method, termed SemPool, represents KG facts with
pre-trained LMs, learns to aggregate their semantic information, and fuses it
at different layers of the LM. Our experimental results show that SemPool
outperforms state-of-the-art GNN-based methods by 2.27% accuracy points on
average when answer information is missing from the KG. In addition, SemPool
offers interpretability on what type of graph information is fused at different
LM layers.
- Abstract(参考訳): 知識グラフ(KG)を用いた質問応答(QA)は、言語意味論と知識事実に関する複雑な推論を行う。
グラフニューラルネットワーク(GNN)は、与えられた質問に対する効果的な推論のために、言語モデル(LM)と組み合わせた基礎となるKGから情報を収集することを学ぶ。
しかし、GNNベースのQA手法は、KGに重要な回答情報が含まれないより困難な環境での有効性を制限するため、候補回答ノードのグラフ情報に依存する。
我々は,KGの有用なセマンティクスを学習し,LMの推論を支援するシンプルなグラフプーリング手法を提案し,その有効性はグラフ摂動下で堅牢であることを示す。
SemPoolと呼ばれる手法は、事前訓練されたLMでKGの事実を表現し、それらの意味情報を収集し、LMの異なる層で融合する。
実験の結果,SemPoolは,KGから回答情報が欠落している場合の平均精度を2.27%向上させることがわかった。
さらに、SemPoolは異なるLM層でどのグラフ情報が融合しているかの解釈可能性を提供します。
関連論文リスト
- Graph Language Models [22.154943201169395]
両アプローチの長所を統合し,その短所を緩和する新しいLM型であるグラフ言語モデル(GLM)を導入する。
我々はGLMのアーキテクチャを設計し、グラフバイアスを取り入れ、グラフ内の効果的な知識分布を促進する。
関係分類タスクに関する実証的な評価は、GLM埋め込みが、教師付きおよびゼロショット設定におけるLMベースラインとGNNベースベースラインの両方を上回っていることを示している。
論文 参考訳(メタデータ) (2024-01-13T16:09:49Z) - ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained
Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。
また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。
実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文 参考訳(メタデータ) (2023-12-30T07:18:54Z) - Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。
我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
論文 参考訳(メタデータ) (2022-10-17T18:02:52Z) - Explainable Sparse Knowledge Graph Completion via High-order Graph
Reasoning Network [111.67744771462873]
本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。
高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。
情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
論文 参考訳(メタデータ) (2022-07-14T10:16:56Z) - GreaseLM: Graph REASoning Enhanced Language Models for Question
Answering [159.9645181522436]
GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。
GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
論文 参考訳(メタデータ) (2022-01-21T19:00:05Z) - Knowledge Graph Reasoning with Relational Directed Graph [40.555874504438506]
文学における関係経路に基づく手法は、強く、解釈可能で、帰納的推論能力を示す。
重なり合う関係経路からなる関係有向グラフ(r-digraph)を新たに導入する。
本稿では,グラフニューラルネットワークの変種であるRED-GNNを提案し,GNNの変種を用いてRelational Digraphを学習する。
論文 参考訳(メタデータ) (2021-08-13T03:27:01Z) - KGPool: Dynamic Knowledge Graph Context Selection for Relation
Extraction [5.093899040333718]
知識グラフ(KG)において、文と2つの与えられた実体を標準事実にマッピングする、単一の文から関係抽出する新しい方法を提案する。
本稿では,KGPool法を用いて,KGから追加事実を付加してコンテキストを動的に拡張する手法を提案する。
KGPool表現をグラフニューラルネットワークに入力することで、全体的な手法は最先端の手法よりもはるかに正確になる。
論文 参考訳(メタデータ) (2021-06-01T13:12:24Z) - QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question
Answering [122.84513233992422]
学習済み言語モデル(LM)と知識グラフ(KG)の知識を用いて質問に答える問題に対処する新しいモデルであるQA-GNNを提案する。
既存のLMとLM+KGモデルに対する改善と、解釈可能で構造化された推論を行う能力を示しています。
論文 参考訳(メタデータ) (2021-04-13T17:32:51Z) - Toward Subgraph-Guided Knowledge Graph Question Generation with Graph
Neural Networks [53.58077686470096]
知識グラフ(KG)質問生成(QG)は,KGから自然言語質問を生成することを目的とする。
本研究は,KGサブグラフから質問を生成し,回答をターゲットとする,より現実的な環境に焦点を当てる。
論文 参考訳(メタデータ) (2020-04-13T15:43:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。