論文の概要: Empowering Language Models with Knowledge Graph Reasoning for Question Answering

• arxiv url: http://arxiv.org/abs/2211.08380v1
• Date: Tue, 15 Nov 2022 18:26:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 13:14:56.150039
• Title: Empowering Language Models with Knowledge Graph Reasoning for Question Answering
• Title（参考訳）: 質問応答のための知識グラフ推論による言語モデルエンパワーメント
• Authors: Ziniu Hu, Yichong Xu, Wenhao Yu, Shuohang Wang, Ziyi Yang, Chenguang Zhu, Kai-Wei Chang, Yizhou Sun
• Abstract要約: 我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。 OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。 クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
• 参考スコア（独自算出の注目度）: 117.79170629640525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Answering open-domain questions requires world knowledge about in-context entities. As pre-trained Language Models (LMs) lack the power to store all required knowledge, external knowledge sources, such as knowledge graphs, are often used to augment LMs. In this work, we propose knOwledge REasOning empowered Language Model (OREO-LM), which consists of a novel Knowledge Interaction Layer that can be flexibly plugged into existing Transformer-based LMs to interact with a differentiable Knowledge Graph Reasoning module collaboratively. In this way, LM guides KG to walk towards the desired answer, while the retrieved knowledge improves LM. By adopting OREO-LM to RoBERTa and T5, we show significant performance gain, achieving state-of-art results in the Closed-Book setting. The performance enhancement is mainly from the KG reasoning's capacity to infer missing relational facts. In addition, OREO-LM provides reasoning paths as rationales to interpret the model's decision.
• Abstract（参考訳）: オープンドメインの質問に答えるには、コンテキスト内エンティティに関する世界知識が必要です。 事前訓練された言語モデル(LM)には必要な知識を全て格納する能力がないため、知識グラフのような外部知識ソースは、しばしばLMを増強するために使用される。 本研究では,既存のトランスフォーマーベースのLMに柔軟に接続して,異なる知識グラフ推論モジュールを協調的に操作可能な,新しい知識相互作用層(KnOwledge ReasOning empowered Language Model,OREO-LM)を提案する。 このようにして、LMはKGを所望の回答に向かって歩き、検索された知識はLMを改善する。 OREO-LMをRoBERTaおよびT5に適用することにより、クローズドブック設定における最先端の成果を達成し、大幅な性能向上を示す。 性能向上は主に、欠落した関係事実を推測するKG推論能力によるものである。 さらに、OREO-LMはモデルの決定を解釈する根拠として推論パスを提供する。

関連論文リスト

• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Flexible and Structured Knowledge Grounded Question Answering [0.23068481501673416]
  本稿では,知識に基づく質問応答の柔軟性,範囲の広さ,構造的推論に言語と知識を活用することを提案する。 具体的には,動的ホップを用いて関連するコンテキストを検索する知識構築手法を考案する。 そして、言語と知識の間のボトルネックを交換する情報を橋渡しする深層融合機構を考案する。
  論文  参考訳（メタデータ） (2022-09-17T08:48:50Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• BertNet: Harvesting Knowledge Graphs from Pretrained Language Models [72.9006637247241]
  シンボリック・ナレッジグラフ(KG)は、高価なクラウドソーシングやドメイン固有の複雑な情報抽出パイプラインによって構築されている。 ニューラルLMの柔軟性と拡張性によって強化された自動KG構築のための新しいフレームワークを提案する。 我々は、多様な LM から、よりリッチなコモンセンス関係を含む新しい KG の族を導出する。
  論文  参考訳（メタデータ） (2022-06-28T19:46:29Z)
• GreaseLM: Graph REASoning Enhanced Language Models for Question Answering [159.9645181522436]
  GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。 GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
  論文  参考訳（メタデータ） (2022-01-21T19:00:05Z)
• Kformer: Knowledge Injection in Transformer Feed-Forward Layers [107.71576133833148]
  そこで我々は,Transformerのフィードフォワード層を通じて外部知識を組み込んだ新しい知識融合モデルKformerを提案する。 FFNに単に知識を注入するだけで、事前学習された言語モデルの能力が向上し、現在の知識融合法が促進されることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-01-15T03:00:27Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• JAKET: Joint Pre-training of Knowledge Graph and Language Understanding [73.43768772121985]
  本稿では,知識グラフと言語の両方をモデル化する新しい事前学習フレームワークであるJAKETを提案する。 知識モジュールと言語モジュールは相互に支援するための重要な情報を提供する。 我々の設計により、事前学習されたモデルは、新しいドメインの見知らぬ知識グラフに容易に適応できる。
  論文  参考訳（メタデータ） (2020-10-02T05:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。