論文の概要: Synthetic Question Value Estimation for Domain Adaptation of Question Answering

• arxiv url: http://arxiv.org/abs/2203.08926v1
• Date: Wed, 16 Mar 2022 20:22:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 14:04:34.421283
• Title: Synthetic Question Value Estimation for Domain Adaptation of Question Answering
• Title（参考訳）: 質問応答のドメイン適応のための合成質問値推定
• Authors: Xiang Yue and Ziyu Yao and Huan Sun
• Abstract要約: 対象領域のQA性能を改善するために合成質問の有用性を直接推定する質問値推定器(QVE)をトレーニングする新しいアイデアを導入する。 このような質問を使用することで、ターゲットドメイン上のヒューマンアノテーションの約15%しか、完全に教師されたベースラインに匹敵するパフォーマンスを達成できません。
• 参考スコア（独自算出の注目度）: 31.003053719921628
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthesizing QA pairs with a question generator (QG) on the target domain has become a popular approach for domain adaptation of question answering (QA) models. Since synthetic questions are often noisy in practice, existing work adapts scores from a pretrained QA (or QG) model as criteria to select high-quality questions. However, these scores do not directly serve the ultimate goal of improving QA performance on the target domain. In this paper, we introduce a novel idea of training a question value estimator (QVE) that directly estimates the usefulness of synthetic questions for improving the target-domain QA performance. By conducting comprehensive experiments, we show that the synthetic questions selected by QVE can help achieve better target-domain QA performance, in comparison with existing techniques. We additionally show that by using such questions and only around 15% of the human annotations on the target domain, we can achieve comparable performance to the fully-supervised baselines.
• Abstract（参考訳）: QAペアと質問生成器(QG)を対象領域に合成することは、質問応答モデル(QA)のドメイン適応のための一般的なアプローチとなっている。 合成質問は実際はノイズが多いため、既存の作業は、事前訓練されたQA(あるいはQG)モデルからのスコアを基準として、高品質な質問を選択する。 しかし、これらのスコアは、ターゲットドメインでのQAパフォーマンスを改善するという最終的な目標に直接役に立たない。 本稿では,対象領域のQA性能を改善するために,合成質問の有用性を直接推定する質問値推定器(QVE)をトレーニングする新しいアイデアを紹介する。 総合的な実験を行うことで,QVEが選択した合成質問は,既存の手法と比較して,目標領域のQA性能の向上に役立つことを示す。 さらに、対象ドメインのヒューマンアノテーションの約15%で、このような質問を使用することで、完全に監督されたベースラインと同等のパフォーマンスを達成できることも示します。

関連論文リスト

• KaPQA: Knowledge-Augmented Product Question-Answering [59.096607961704656]
  我々はAdobe AcrobatとPhotoshop製品に焦点を当てた2つのQAデータセットを紹介した。 また、製品QAタスクにおけるモデルの性能を高めるために、新しい知識駆動型RAG-QAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-22T22:14:56Z)
• QADYNAMICS: Training Dynamics-Driven Synthetic QA Diagnostic for Zero-Shot Commonsense Question Answering [48.25449258017601]
  State-of-the-artはCommonSense Knowledge Basesから構築されたQAペア上での微調整言語モデルにアプローチする。 本稿では,QA診断と改善のためのトレーニング動的フレームワークQADYNAMICSを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:27:34Z)
• SQUARE: Automatic Question Answering Evaluation using Multiple Positive and Negative References [73.67707138779245]
  SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。 文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
  論文  参考訳（メタデータ） (2023-09-21T16:51:30Z)
• Improving Visual Question Answering Models through Robustness Analysis and In-Context Learning with a Chain of Basic Questions [70.70725223310401]
  本研究は,VQAモデルのロバスト性を評価するために,基本質問と呼ばれる意味的関連質問を利用する新しい手法を提案する。 実験により,提案手法はVQAモデルのロバスト性を効果的に解析することを示した。
  論文  参考訳（メタデータ） (2023-04-06T15:32:35Z)
• QA Domain Adaptation using Hidden Space Augmentation and Self-Supervised Contrastive Adaptation [24.39026345750824]
  質問応答(QA)は、最近、カスタマイズされたドメインからの質問に答えるための印象的な結果を示している。 しかし、一般的な課題は、QAモデルを目に見えないターゲットドメインに適応させることである。 我々はQAドメイン適応のためのQADAと呼ばれる新しい自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-19T19:52:57Z)
• Domain Adaptation for Question Answering via Question Classification [8.828396559882954]
  質問回答のための質問分類(QC4QA)という新しい枠組みを提案する。 最適化のために、ソースとターゲットドメイン間のドメイン間不一致を最大平均不一致(MMD)距離で低減する。 提案したQC4QAの有効性を,複数のデータセットの最先端ベースラインに対して一貫した改善により示す。
  論文  参考訳（メタデータ） (2022-09-12T03:12:02Z)
• Improving Unsupervised Question Answering via Summarization-Informed Question Generation [47.96911338198302]
  質問生成 (QG) とは, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、 我々は、自由なニュース要約データを使用し、宣言文を依存性解析、名前付きエンティティ認識、セマンティックロールラベリングを用いて適切な質問に変換する。 得られた質問は、元のニュース記事と組み合わせて、エンドツーエンドのニューラルQGモデルをトレーニングする。
  論文  参考訳（メタデータ） (2021-09-16T13:08:43Z)
• Exploring Question-Specific Rewards for Generating Deep Questions [42.243227323241584]
  我々は、生成した質問の流布度、妥当性、回答可能性を改善するために、ターゲットとする3つの異なる報酬を設計する。 質問固有報酬の最適化は、一般的に自動評価指標の性能向上につながる。
  論文  参考訳（メタデータ） (2020-11-02T16:37:30Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。