論文の概要: SemPool: Simple, robust, and interpretable KG pooling for enhancing language models

• arxiv url: http://arxiv.org/abs/2402.02289v1
• Date: Sat, 3 Feb 2024 23:03:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 20:50:55.820879
• Title: SemPool: Simple, robust, and interpretable KG pooling for enhancing language models
• Title（参考訳）: SemPool: 言語モデルを強化するためのシンプルで堅牢で解釈可能なKGプール
• Authors: Costas Mavromatis, Petros Karypis, George Karypis
• Abstract要約: 知識グラフ(KG)の有用な意味を学習する簡単なグラフプーリング手法を提案する。 SemPoolと呼ばれるこの手法は、事前訓練されたLMを用いてKGの事実を表現し、それらの意味情報を収集し、LMの異なる層で融合する。 実験の結果,回答情報がKGから欠落している場合,SemPoolは最先端のGNNベースの手法を平均2.27%上回ることがわかった。
• 参考スコア（独自算出の注目度）: 21.057810495833063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Graph (KG) powered question answering (QA) performs complex reasoning over language semantics as well as knowledge facts. Graph Neural Networks (GNNs) learn to aggregate information from the underlying KG, which is combined with Language Models (LMs) for effective reasoning with the given question. However, GNN-based methods for QA rely on the graph information of the candidate answer nodes, which limits their effectiveness in more challenging settings where critical answer information is not included in the KG. We propose a simple graph pooling approach that learns useful semantics of the KG that can aid the LM's reasoning and that its effectiveness is robust under graph perturbations. Our method, termed SemPool, represents KG facts with pre-trained LMs, learns to aggregate their semantic information, and fuses it at different layers of the LM. Our experimental results show that SemPool outperforms state-of-the-art GNN-based methods by 2.27% accuracy points on average when answer information is missing from the KG. In addition, SemPool offers interpretability on what type of graph information is fused at different LM layers.
• Abstract（参考訳）: 知識グラフ(KG)を用いた質問応答(QA)は、言語意味論と知識事実に関する複雑な推論を行う。 グラフニューラルネットワーク(GNN)は、与えられた質問に対する効果的な推論のために、言語モデル(LM)と組み合わせた基礎となるKGから情報を収集することを学ぶ。 しかし、GNNベースのQA手法は、KGに重要な回答情報が含まれないより困難な環境での有効性を制限するため、候補回答ノードのグラフ情報に依存する。 我々は,KGの有用なセマンティクスを学習し,LMの推論を支援するシンプルなグラフプーリング手法を提案し,その有効性はグラフ摂動下で堅牢であることを示す。 SemPoolと呼ばれる手法は、事前訓練されたLMでKGの事実を表現し、それらの意味情報を収集し、LMの異なる層で融合する。 実験の結果,SemPoolは,KGから回答情報が欠落している場合の平均精度を2.27%向上させることがわかった。 さらに、SemPoolは異なるLM層でどのグラフ情報が融合しているかの解釈可能性を提供します。

関連論文リスト

• A Prompt-Based Knowledge Graph Foundation Model for Universal In-Context Reasoning [17.676185326247946]
  そこで本研究では,テキスト内学習,すなわちKG-ICLを介し,プロンプトに基づくKGファウンデーションモデルを提案する。 クエリにおけるエンティティや関係を発見できないような一般化機能を備えたプロンプトグラフを符号化するために,まず統一トークン化器を提案する。 そこで我々は,プロンプトエンコーディングとKG推論を行う2つのメッセージパッシングニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2024-10-16T06:47:18Z)
• GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning [21.057810495833063]
  本稿では,LLMの言語理解能力とGNNの推論能力を組み合わせた検索強化世代(RAG)形式の新しい手法であるGNN-RAGを紹介する。 我々のGNN-RAGフレームワークでは、GNNはグラフ情報を抽出するために高密度なサブグラフ推論器として機能する。 実験により、GNN-RAGは2つの広く使用されているKGQAベンチマークで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-05-30T15:14:24Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Graph Language Models [18.75364157933661]
  両アプローチの長所を統合し,その短所を緩和する新しいLM型であるグラフ言語モデル(GLM)を導入する。 我々はGLMのアーキテクチャを設計し、グラフバイアスを取り入れ、グラフ内の効果的な知識分布を促進する。 関係分類タスクに関する実証的な評価は、GLM埋め込みが、教師付きおよびゼロショット設定におけるLMベースラインとGNNベースベースラインの両方を上回っていることを示している。
  論文  参考訳（メタデータ） (2024-01-13T16:09:49Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
  DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。 我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
  論文  参考訳（メタデータ） (2022-10-17T18:02:52Z)
• Explainable Sparse Knowledge Graph Completion via High-order Graph Reasoning Network [111.67744771462873]
  本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。 高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。 情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2022-07-14T10:16:56Z)
• KGPool: Dynamic Knowledge Graph Context Selection for Relation Extraction [5.093899040333718]
  知識グラフ(KG)において、文と2つの与えられた実体を標準事実にマッピングする、単一の文から関係抽出する新しい方法を提案する。 本稿では,KGPool法を用いて,KGから追加事実を付加してコンテキストを動的に拡張する手法を提案する。 KGPool表現をグラフニューラルネットワークに入力することで、全体的な手法は最先端の手法よりもはるかに正確になる。
  論文  参考訳（メタデータ） (2021-06-01T13:12:24Z)
• QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering [122.84513233992422]
  学習済み言語モデル(LM)と知識グラフ(KG)の知識を用いて質問に答える問題に対処する新しいモデルであるQA-GNNを提案する。 既存のLMとLM+KGモデルに対する改善と、解釈可能で構造化された推論を行う能力を示しています。
  論文  参考訳（メタデータ） (2021-04-13T17:32:51Z)
• Toward Subgraph-Guided Knowledge Graph Question Generation with Graph Neural Networks [53.58077686470096]
  知識グラフ(KG)質問生成(QG)は,KGから自然言語質問を生成することを目的とする。 本研究は,KGサブグラフから質問を生成し,回答をターゲットとする,より現実的な環境に焦点を当てる。
  論文  参考訳（メタデータ） (2020-04-13T15:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。