論文の概要: A Knowledge-Injected Curriculum Pretraining Framework for Question Answering

• arxiv url: http://arxiv.org/abs/2403.09712v1
• Date: Mon, 11 Mar 2024 03:42:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 21:54:39.568936
• Title: A Knowledge-Injected Curriculum Pretraining Framework for Question Answering
• Title（参考訳）: 質問応答のための知識注入型カリキュラム事前学習フレームワーク
• Authors: Xin Lin, Tianhuang Su, Zhenya Huang, Shangzi Xue, Haifeng Liu, Enhong Chen,
• Abstract要約: 本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
• 参考スコア（独自算出の注目度）: 70.13026036388794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge-based question answering (KBQA) is a key task in NLP research, and also an approach to access the web data and knowledge, which requires exploiting knowledge graphs (KGs) for reasoning. In the literature, one promising solution for KBQA is to incorporate the pretrained language model (LM) with KGs by generating KG-centered pretraining corpus, which has shown its superiority. However, these methods often depend on specific techniques and resources to work, which may not always be available and restrict its application. Moreover, existing methods focus more on improving language understanding with KGs, while neglect the more important human-like complex reasoning. To this end, in this paper, we propose a general Knowledge-Injected Curriculum Pretraining framework (KICP) to achieve comprehensive KG learning and exploitation for KBQA tasks, which is composed of knowledge injection (KI), knowledge adaptation (KA) and curriculum reasoning (CR). Specifically, the KI module first injects knowledge into the LM by generating KG-centered pretraining corpus, and generalizes the process into three key steps that could work with different implementations for flexible application. Next, the KA module learns knowledge from the generated corpus with LM equipped with an adapter as well as keeps its original natural language understanding ability to reduce the negative impacts of the difference between the generated and natural corpus. Last, to enable the LM with complex reasoning, the CR module follows human reasoning patterns to construct three corpora with increasing difficulties of reasoning, and further trains the LM from easy to hard in a curriculum manner. We provide an implementation of the general framework, and evaluate the proposed KICP on four real-word datasets. The results demonstrate that our framework can achieve higher performances.
• Abstract（参考訳）: 知識に基づく質問応答(KBQA)は、NLP研究における重要な課題であり、Webデータと知識にアクセスするアプローチであり、推論には知識グラフ(KG)を活用する必要がある。 文献では、KBQAの有望な解決策の1つは、KG中心の事前学習コーパスを生成することで、事前学習言語モデル(LM)をKGに組み込むことである。 しかしながら、これらのメソッドは、動作すべき特定の技術やリソースに依存することが多いため、常に利用でき、そのアプリケーションを制限することはできないかもしれない。 さらに、既存の手法は、より重要な人間のような複雑な推論を無視しながら、KGによる言語理解の改善に重点を置いている。 本稿では、知識注入(KI)、知識適応(KA)、カリキュラム推論(CR)からなるKBQAタスクの総合的なKG学習と活用を実現するための一般知識注入カリキュラム事前学習フレームワーク(KICP)を提案する。 具体的には、KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、そのプロセスを3つの重要なステップに一般化する。 次に、KAモジュールは、アダプタを備えたLMを備えた生成コーパスから知識を学習し、生成コーパスと自然コーパスの差による負の影響を低減するために、元の自然言語理解能力を維持できる。 最後に、複雑な推論でLMを実現するために、CRモジュールは人間の推論パターンに従い、推論の難しさを増しながら3つのコーパスを構築する。 提案するKICPを4つの実単語データセット上で評価する。 その結果,我々のフレームワークは高い性能を達成できることがわかった。

関連論文リスト

• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• SGSH: Stimulate Large Language Models with Skeleton Heuristics for Knowledge Base Question Generation [23.426821153086358]
  知識ベース質問生成(KBQG)は、KBから抽出された3つの事実の集合から自然言語の質問を生成することを目的としている。 事前学習技術の進歩により、大きな言語モデル (LLM) (例: GPT-3.5) は間違いなくより意味的な知識を持っている。 KBQGを向上させるため,SGSH(Skeleton Heuristics による GPT-3.5 のインセンティブを高めるためのシンプルで効果的なフレームワーク)を提案する。
  論文  参考訳（メタデータ） (2024-04-02T13:17:36Z)
• ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question Answering with Fine-tuned Large Language Models [19.85526116658481]
  本稿では,新規かつ簡易な生成検索KBQAフレームワークであるChatKBQAを紹介する。 実験の結果,ChatKBQAは標準KBQAデータセット上で新たな最先端性能を実現することがわかった。 この研究は、LLMと知識グラフを組み合わせるための新しいパラダイムとして、解釈可能および知識要求型質問応答のパラダイムと見なすこともできる。
  論文  参考訳（メタデータ） (2023-10-13T09:45:14Z)
• Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
  本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。 まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。 第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。 第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
  論文  参考訳（メタデータ） (2023-10-09T11:45:59Z)
• Bridging the KB-Text Gap: Leveraging Structured Knowledge-aware Pre-training for KBQA [28.642711264323786]
  テキストと構造化KBのギャップを埋める構造化知識認識事前学習法(SKP)を提案する。 事前学習の段階では、複雑な部分グラフの暗黙的関係とより良い表現を効果的に学習するためにモデルを導くという、2つの新しい構造化された知識認識タスクを導入する。 下流KBQAタスクでは、より効率的な線形化戦略とインターバルアテンション機構を設計し、複雑なサブグラフの符号化を支援する。
  論文  参考訳（メタデータ） (2023-08-28T09:22:02Z)
• Empowering Language Models with Knowledge Graph Reasoning for Question Answering [117.79170629640525]
  我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。 OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。 クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
  論文  参考訳（メタデータ） (2022-11-15T18:26:26Z)
• Structured Knowledge Grounding for Question Answering [0.23068481501673416]
  本稿では,知識に基づく質問応答の柔軟性,範囲の広さ,構造的推論に言語と知識を活用することを提案する。 具体的には,動的ホップを用いて関連するコンテキストを検索する知識構築手法を考案する。 そして、言語と知識の間のボトルネックを交換する情報を橋渡しする深層融合機構を考案する。
  論文  参考訳（メタデータ） (2022-09-17T08:48:50Z)
• Contextualized Knowledge-aware Attentive Neural Network: Enhancing Answer Selection with Knowledge [77.77684299758494]
  ナレッジグラフ(KG)による外部知識による回答選択モデル向上のアプローチを幅広く検討しています。 まず、KGの外部知識とテキスト情報との密接な相互作用を考慮し、QA文表現を学習するコンテキスト知識相互作用学習フレームワークであるナレッジアウェアニューラルネットワーク(KNN)を紹介します。 KG情報の多様性と複雑性に対処するために, カスタマイズされたグラフ畳み込みネットワーク (GCN) を介して構造情報を用いた知識表現学習を改善し, コンテキストベースおよび知識ベースの文表現を総合的に学習する コンテキスト型知識認識型アテンシブニューラルネットワーク (CKANN) を提案する。
  論文  参考訳（メタデータ） (2021-04-12T05:52:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。