論文の概要: A Knowledge-Injected Curriculum Pretraining Framework for Question Answering
- arxiv url: http://arxiv.org/abs/2403.09712v1
- Date: Mon, 11 Mar 2024 03:42:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 21:54:39.568936
- Title: A Knowledge-Injected Curriculum Pretraining Framework for Question Answering
- Title(参考訳): 質問応答のための知識注入型カリキュラム事前学習フレームワーク
- Authors: Xin Lin, Tianhuang Su, Zhenya Huang, Shangzi Xue, Haifeng Liu, Enhong Chen,
- Abstract要約: 本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。
KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。
KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。
CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
- 参考スコア(独自算出の注目度): 70.13026036388794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge-based question answering (KBQA) is a key task in NLP research, and also an approach to access the web data and knowledge, which requires exploiting knowledge graphs (KGs) for reasoning. In the literature, one promising solution for KBQA is to incorporate the pretrained language model (LM) with KGs by generating KG-centered pretraining corpus, which has shown its superiority. However, these methods often depend on specific techniques and resources to work, which may not always be available and restrict its application. Moreover, existing methods focus more on improving language understanding with KGs, while neglect the more important human-like complex reasoning. To this end, in this paper, we propose a general Knowledge-Injected Curriculum Pretraining framework (KICP) to achieve comprehensive KG learning and exploitation for KBQA tasks, which is composed of knowledge injection (KI), knowledge adaptation (KA) and curriculum reasoning (CR). Specifically, the KI module first injects knowledge into the LM by generating KG-centered pretraining corpus, and generalizes the process into three key steps that could work with different implementations for flexible application. Next, the KA module learns knowledge from the generated corpus with LM equipped with an adapter as well as keeps its original natural language understanding ability to reduce the negative impacts of the difference between the generated and natural corpus. Last, to enable the LM with complex reasoning, the CR module follows human reasoning patterns to construct three corpora with increasing difficulties of reasoning, and further trains the LM from easy to hard in a curriculum manner. We provide an implementation of the general framework, and evaluate the proposed KICP on four real-word datasets. The results demonstrate that our framework can achieve higher performances.
- Abstract(参考訳): 知識に基づく質問応答(KBQA)は、NLP研究における重要な課題であり、Webデータと知識にアクセスするアプローチであり、推論には知識グラフ(KG)を活用する必要がある。
文献では、KBQAの有望な解決策の1つは、KG中心の事前学習コーパスを生成することで、事前学習言語モデル(LM)をKGに組み込むことである。
しかしながら、これらのメソッドは、動作すべき特定の技術やリソースに依存することが多いため、常に利用でき、そのアプリケーションを制限することはできないかもしれない。
さらに、既存の手法は、より重要な人間のような複雑な推論を無視しながら、KGによる言語理解の改善に重点を置いている。
本稿では、知識注入(KI)、知識適応(KA)、カリキュラム推論(CR)からなるKBQAタスクの総合的なKG学習と活用を実現するための一般知識注入カリキュラム事前学習フレームワーク(KICP)を提案する。
具体的には、KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、そのプロセスを3つの重要なステップに一般化する。
次に、KAモジュールは、アダプタを備えたLMを備えた生成コーパスから知識を学習し、生成コーパスと自然コーパスの差による負の影響を低減するために、元の自然言語理解能力を維持できる。
最後に、複雑な推論でLMを実現するために、CRモジュールは人間の推論パターンに従い、推論の難しさを増しながら3つのコーパスを構築する。
提案するKICPを4つの実単語データセット上で評価する。
その結果,我々のフレームワークは高い性能を達成できることがわかった。
関連論文リスト
- SGSH: Stimulate Large Language Models with Skeleton Heuristics for Knowledge Base Question Generation [23.426821153086358]
知識ベース質問生成(KBQG)は、KBから抽出された3つの事実の集合から自然言語の質問を生成することを目的としている。
事前学習技術の進歩により、大きな言語モデル (LLM) (例: GPT-3.5) は間違いなくより意味的な知識を持っている。
KBQGを向上させるため,SGSH(Skeleton Heuristics による GPT-3.5 のインセンティブを高めるためのシンプルで効果的なフレームワーク)を提案する。
論文 参考訳(メタデータ) (2024-04-02T13:17:36Z) - ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question
Answering with Fine-tuned Large Language Models [13.215465389864631]
ChatKBQA は、細調整のオープンソース LLM 上に構築された新規な生成可能なKBQAフレームワークである。
実験結果から,ChatKBQAは標準KBQAデータセット上で新たな最先端性能を実現することがわかった。
論文 参考訳(メタデータ) (2023-10-13T09:45:14Z) - Towards Verifiable Generation: A Benchmark for Knowledge-aware Language
Model Attribution [48.92960579675478]
我々は知識認識型言語モデル属性(KaLMA)の新しいタスクを定義する。
まず、構造化されていないテキストから知識グラフ(KG)へ属性ソースを拡張する。
第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。
第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
論文 参考訳(メタデータ) (2023-10-09T11:45:59Z) - Bridging the KB-Text Gap: Leveraging Structured Knowledge-aware
Pre-training for KBQA [28.642711264323786]
テキストと構造化KBのギャップを埋める構造化知識認識事前学習法(SKP)を提案する。
事前学習の段階では、複雑な部分グラフの暗黙的関係とより良い表現を効果的に学習するためにモデルを導くという、2つの新しい構造化された知識認識タスクを導入する。
下流KBQAタスクでは、より効率的な線形化戦略とインターバルアテンション機構を設計し、複雑なサブグラフの符号化を支援する。
論文 参考訳(メタデータ) (2023-08-28T09:22:02Z) - KnowledGPT: Enhancing Large Language Models with Retrieval and Storage
Access on Knowledge Bases [55.942342665806656]
KnowledGPTは、様々な知識ベースで大きな言語モデルをブリッジするための包括的なフレームワークである。
検索プロセスでは思考プロンプトプログラムを使用し,KBの検索言語をコード形式で生成する。
KnowledGPTは、個々のユーザ要求に合わせて、知識をパーソナライズされたKBに格納する機能を提供する。
論文 参考訳(メタデータ) (2023-08-17T13:07:00Z) - Empowering Language Models with Knowledge Graph Reasoning for Question
Answering [117.79170629640525]
我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。
OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。
クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
論文 参考訳(メタデータ) (2022-11-15T18:26:26Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳(メタデータ) (2022-11-11T04:29:02Z) - Knowledge Prompting in Pre-trained Language Model for Natural Language
Understanding [24.315130086787374]
知識プロンプトに基づく PLM フレームワーク KP-PLM を提案する。
このフレームワークは、既存の主流PLMと柔軟に組み合わせることができる。
これらのプロンプトから事実知識を更に活用するために,我々は2つの新しい知識認識型自己監督タスクを提案する。
論文 参考訳(メタデータ) (2022-10-16T13:36:57Z) - Structured Knowledge Grounding for Question Answering [0.23068481501673416]
本稿では,知識に基づく質問応答の柔軟性,範囲の広さ,構造的推論に言語と知識を活用することを提案する。
具体的には,動的ホップを用いて関連するコンテキストを検索する知識構築手法を考案する。
そして、言語と知識の間のボトルネックを交換する情報を橋渡しする深層融合機構を考案する。
論文 参考訳(メタデータ) (2022-09-17T08:48:50Z) - Contextualized Knowledge-aware Attentive Neural Network: Enhancing
Answer Selection with Knowledge [77.77684299758494]
ナレッジグラフ(KG)による外部知識による回答選択モデル向上のアプローチを幅広く検討しています。
まず、KGの外部知識とテキスト情報との密接な相互作用を考慮し、QA文表現を学習するコンテキスト知識相互作用学習フレームワークであるナレッジアウェアニューラルネットワーク(KNN)を紹介します。
KG情報の多様性と複雑性に対処するために, カスタマイズされたグラフ畳み込みネットワーク (GCN) を介して構造情報を用いた知識表現学習を改善し, コンテキストベースおよび知識ベースの文表現を総合的に学習する コンテキスト型知識認識型アテンシブニューラルネットワーク (CKANN) を提案する。
論文 参考訳(メタデータ) (2021-04-12T05:52:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。