論文の概要: ProQA: Structural Prompt-based Pre-training for Unified Question Answering

• arxiv url: http://arxiv.org/abs/2205.04040v1
• Date: Mon, 9 May 2022 04:59:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 15:02:24.663184
• Title: ProQA: Structural Prompt-based Pre-training for Unified Question Answering
• Title（参考訳）: ProQA: 統一質問応答のための構造的プロンプトに基づく事前学習
• Authors: Wanjun Zhong, Yifan Gao, Ning Ding, Yujia Qin, Zhiyuan Liu, Ming Zhou, Jiahai Wang, Jian Yin and Nan Duan
• Abstract要約: ProQAは統一されたQAパラダイムであり、単一のモデルによって様々なタスクを解決する。 全てのQAタスクの知識一般化を同時にモデル化し、特定のQAタスクの知識カスタマイズを維持します。 ProQAは、フルデータの微調整、数ショットの学習、ゼロショットテストシナリオの両方のパフォーマンスを一貫して向上させる。
• 参考スコア（独自算出の注目度）: 84.59636806421204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Question Answering (QA) is a longstanding challenge in natural language processing. Existing QA works mostly focus on specific question types, knowledge domains, or reasoning skills. The specialty in QA research hinders systems from modeling commonalities between tasks and generalization for wider applications. To address this issue, we present ProQA, a unified QA paradigm that solves various tasks through a single model. ProQA takes a unified structural prompt as the bridge and improves the QA-centric ability by structural prompt-based pre-training. Through a structurally designed prompt-based input schema, ProQA concurrently models the knowledge generalization for all QA tasks while keeping the knowledge customization for every specific QA task. Furthermore, ProQA is pre-trained with structural prompt-formatted large-scale synthesized corpus, which empowers the model with the commonly-required QA ability. Experimental results on 11 QA benchmarks demonstrate that ProQA consistently boosts performance on both full data fine-tuning, few-shot learning, and zero-shot testing scenarios. Furthermore, ProQA exhibits strong ability in both continual learning and transfer learning by taking the advantages of the structural prompt.
• Abstract（参考訳）: 質問応答(qa)は自然言語処理における長年の課題である。 既存のQAは、主に特定の質問タイプ、知識ドメイン、推論スキルに焦点を当てています。 QA研究の専門性は、タスク間の共通点のモデリングや、より広範な応用のための一般化からシステムを妨げる。 この問題に対処するために,1つのモデルを用いて様々なタスクを解決する統一QAパラダイムであるProQAを提案する。 ProQAは橋として構造的プロンプトを統一し、構造的プロンプトベースの事前訓練によりQA中心の能力を向上させる。 構造的に設計されたプロンプトベースの入力スキーマを通じて、ProQAは、特定のQAタスクごとに知識のカスタマイズを維持しながら、すべてのQAタスクの知識一般化を同時にモデル化する。 さらに、ProQAは、構造的急速成形された大規模合成コーパスで事前訓練され、一般的に要求されるQA能力でモデルを強化する。 11のQAベンチマークの実験結果によると、ProQAはフルデータの微調整、少数ショット学習、ゼロショットテストシナリオの両方のパフォーマンスを継続的に向上する。 さらに、ProQAは、構造的プロンプトの利点を生かして、継続学習と転帰学習の両方に強い能力を示す。

関連論文リスト

• Graph Guided Question Answer Generation for Procedural Question-Answering [29.169773816553153]
  本稿では,タスク固有質問応答(QA)モデルのための,完全かつ高品質なトレーニングデータを生成する方法を提案する。 キーテクノロジー・イネーブルは、手続き的テキストから質問応答自動生成のための新しいメカニズムである。 GPT3 や ChatGPT を超越しても,本データを用いて訓練した小型モデルは,目標QA タスクにおいて優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-01-24T17:01:42Z)
• QADYNAMICS: Training Dynamics-Driven Synthetic QA Diagnostic for Zero-Shot Commonsense Question Answering [48.25449258017601]
  State-of-the-artはCommonSense Knowledge Basesから構築されたQAペア上での微調整言語モデルにアプローチする。 本稿では,QA診断と改善のためのトレーニング動的フレームワークQADYNAMICSを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:27:34Z)
• Evaluation of Question Answering Systems: Complexity of judging a natural language [3.4771957347698583]
  質問応答システム(QA)は、自然言語処理(NLP)において最も重要かつ急速に発展している研究課題の一つである。 本調査では,QAの枠組み,QAパラダイム,ベンチマークデータセット,およびQAシステムの定量的評価のための評価手法の体系的概要について述べる。
  論文  参考訳（メタデータ） (2022-09-10T12:29:04Z)
• Continuous QA Learning with Structured Prompts [20.246786740364133]
  Dianaは動的アーキテクチャベースの生涯QAモデルで、一連のQAタスクを学習しようとする。 階層的に整理された4つのプロンプトは、異なる粒度からQA知識を取得するためにダイアナで使用される。 実験では、Dianaは、特に目に見えないタスクの処理において、最先端のQAモデルよりも優れています。
  論文  参考訳（メタデータ） (2022-08-31T02:38:16Z)
• QA4QG: Using Question Answering to Constrain Multi-Hop Question Generation [54.136509061542775]
  マルチホップ質問生成(MQG)は、入力パスの複数の情報に対する推論を必要とする複雑な質問を生成することを目的としている。 MQGのためのQA強化BARTベースのフレームワークであるQA4QGを提案する。 HotpotQAデータセットの結果は、QA4QGがすべての最先端モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2022-02-14T08:16:47Z)
• CliniQG4QA: Generating Diverse Questions for Domain Adaptation of Clinical Question Answering [27.45623324582005]
  臨床質問応答(英: Clinical Question answering, QA)は、臨床テキストに基づく医療専門家の質問に自動的に答えることを目的としている。 CliniQG4QAを提案する。これは質問生成(QG)を利用して、新しい臨床状況に基づいてQAペアを合成する。 QAモデルのトレーニングに不可欠な多様な質問を生成するために,Seq2seqベースの質問句予測(QPP)モジュールを導入する。
  論文  参考訳（メタデータ） (2020-10-30T02:06:10Z)
• KQA Pro: A Dataset with Explicit Compositional Programs for Complex Question Answering over Knowledge Base [67.87878113432723]
  複雑KBQAのためのデータセットであるKQA Proを紹介する。 各質問に対して、対応するKoPLプログラムとSPARQLクエリを提供するので、KQA ProはKBQAとセマンティック解析の両方に役立ちます。
  論文  参考訳（メタデータ） (2020-07-08T03:28:04Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。