論文の概要: FiTs: Fine-grained Two-stage Training for Knowledge-aware Question Answering

• arxiv url: http://arxiv.org/abs/2302.11799v1
• Date: Thu, 23 Feb 2023 06:25:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-24 16:21:43.213930
• Title: FiTs: Fine-grained Two-stage Training for Knowledge-aware Question Answering
• Title（参考訳）: FiTs:知識を意識した質問応答のための微粒な2段階学習
• Authors: Qichen Ye, Bowen Cao, Nuo Chen, Weiyuan Xu, Yuexian Zou
• Abstract要約: 本稿では, KAQAシステム性能を向上させるための微細な2段階トレーニングフレームワーク (FiT) を提案する。 第1段階は、PLMとKGからの表現の整列を目標とし、それらの間のモダリティギャップを埋めることである。 第2段階はナレッジ・アウェア・ファインチューニングと呼ばれ、モデルの共同推論能力の向上を目的としている。
• 参考スコア（独自算出の注目度）: 47.495991137191425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge-aware question answering (KAQA) requires the model to answer questions over a knowledge base, which is essential for both open-domain QA and domain-specific QA, especially when language models alone cannot provide all the knowledge needed. Despite the promising result of recent KAQA systems which tend to integrate linguistic knowledge from pre-trained language models (PLM) and factual knowledge from knowledge graphs (KG) to answer complex questions, a bottleneck exists in effectively fusing the representations from PLMs and KGs because of (i) the semantic and distributional gaps between them, and (ii) the difficulties in joint reasoning over the provided knowledge from both modalities. To address the above two problems, we propose a Fine-grained Two-stage training framework (FiTs) to boost the KAQA system performance: The first stage aims at aligning representations from the PLM and the KG, thus bridging the modality gaps between them, named knowledge adaptive post-training. The second stage, called knowledge-aware fine-tuning, aims to improve the model's joint reasoning ability based on the aligned representations. In detail, we fine-tune the post-trained model via two auxiliary self-supervised tasks in addition to the QA supervision. Extensive experiments demonstrate that our approach achieves state-of-the-art performance on three benchmarks in the commonsense reasoning (i.e., CommonsenseQA, OpenbookQA) and medical question answering (i.e., MedQA-USMILE) domains.
• Abstract（参考訳）: 知識を意識した質問応答(kaqa: knowledge-aware question answering)は、オープンドメインのqaとドメイン固有のqaの両方に不可欠な知識ベースに関する質問に答えるモデルを必要とします。 言語モデル(PLM)からの言語知識と知識グラフ(KG)からの事実知識を統合して複雑な問題に答えようとする最近のKAQAシステムの有望な結果にもかかわらず、PLMやKGからの表現を効果的に融合させるボトルネックが存在する。 (i)それらの間の意味的・分布的ギャップ (ii)両モダリティから提供される知識に対する共同推論の難しさ。 この2つの問題に対処するため, KAQAシステムの性能を向上させるための細粒度2段階トレーニングフレームワーク (FiT) を提案する。 知識認識ファインチューニングと呼ばれる第2段階は、アライメントされた表現に基づいてモデルの共同推論能力を改善することを目的としている。 詳細は、QAの監督に加えて、2つの補助的な自己監督タスクを通して、訓練後のモデルを微調整する。 広汎な実験により,本手法はコモンセンス推論(CommonsenseQA, OpenbookQA)と医療質問応答(MedQA-USMILE)の3つのベンチマークにおいて,最先端のパフォーマンスを達成することが示された。

関連論文リスト

• Knowledge Condensation and Reasoning for Knowledge-based VQA [20.808840633377343]
  近年の研究では、外部知識ベースから知識パスを取得し、それを使って質問に答えている。 本稿では,知識凝縮モデルと知識推論モデルという2つの相乗的モデルを提案する。 本手法は知識に基づくVQAデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-15T06:06:06Z)
• Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
  COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。 COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2023-10-22T19:37:06Z)
• Prophet: Prompting Large Language Models with Complementary Answer Heuristics for Knowledge-based Visual Question Answering [30.858737348472626]
  知識に基づく視覚的質問応答(VQA)は、質問に答えるために、画像以外の外部知識を必要とする。 近年の研究では,暗黙の知識エンジンとして強力な大規模言語モデル (LLM) を用いることで,回答に必要な知識を獲得している。 本稿では,知識に基づくVQAの解答をLCMに促すための,概念的にシンプルで柔軟な,汎用的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-03T13:05:15Z)
• Utilizing Background Knowledge for Robust Reasoning over Traffic Situations [63.45021731775964]
  我々は、インテリジェントトランスポーテーションの補完的な研究側面である交通理解に焦点を当てる。 本研究は,豊富なコモンセンス知識を前提として,テキストベースの手法とデータセットを対象とする。 交通状況に対するゼロショットQAには3つの知識駆動アプローチを採用しています。
  論文  参考訳（メタデータ） (2022-12-04T09:17:24Z)
• VQA-GNN: Reasoning with Multimodal Knowledge via Graph Neural Networks for Visual Question Answering [79.22069768972207]
  本稿では,VQA-GNNモデルを提案する。VQA-GNNは,非構造化知識と構造化知識の双方向融合を行い,統一知識表現を得る。 具体的には,シーングラフとコンセプトグラフを,QAコンテキストを表すスーパーノードを介して相互接続する。 課題2つのVQAタスクにおいて,本手法はVCRが3.2%,GQAが4.6%,強いベースラインVQAが3.2%向上し,概念レベルの推論を行う上での強みが示唆された。
  論文  参考訳（メタデータ） (2022-05-23T17:55:34Z)
• Enhancing Question Generation with Commonsense Knowledge [33.289599417096206]
  質問生成プロセスにコモンセンス知識を導入するためのマルチタスク学習フレームワークを提案する。 SQuAD実験の結果,提案手法は自動評価と人的評価の両方でQG性能を著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-06-19T08:58:13Z)
• QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering [122.84513233992422]
  学習済み言語モデル(LM)と知識グラフ(KG)の知識を用いて質問に答える問題に対処する新しいモデルであるQA-GNNを提案する。 既存のLMとLM+KGモデルに対する改善と、解釈可能で構造化された推論を行う能力を示しています。
  論文  参考訳（メタデータ） (2021-04-13T17:32:51Z)
• KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA [107.7091094498848]
  VQAの最も難しい質問の1つは、質問に答えるために画像に存在しない外部の知識を必要とする場合です。 本研究では,解答に必要な知識が与えられたり記入されたりしないオープンドメイン知識を,トレーニング時やテスト時にも検討する。 知識表現と推論には2つのタイプがあります。 まず、トランスベースのモデルで教師なし言語事前トレーニングと教師付きトレーニングデータから効果的に学ぶことができる暗黙的な知識。
  論文  参考訳（メタデータ） (2020-12-20T20:13:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。