論文の概要: Exploring Contrast Consistency of Open-Domain Question Answering Systems on Minimally Edited Questions

• arxiv url: http://arxiv.org/abs/2305.14441v1
• Date: Tue, 23 May 2023 18:07:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 00:15:43.463362
• Title: Exploring Contrast Consistency of Open-Domain Question Answering Systems on Minimally Edited Questions
• Title（参考訳）: オープンドメイン質問応答システムの最小編集質問に対するコントラスト整合性の検討
• Authors: Zhihan Zhang and Wenhao Yu and Zheng Ning and Mingxuan Ju and Meng Jiang
• Abstract要約: DPRトレーニングを改善するために,データ拡張によるクエリ側のコントラスト損失を導入する。 コントラストセットの実験では、標準テストセットの精度を犠牲にすることなく、DPRのコントラスト一貫性が向上することを示した。
• 参考スコア（独自算出の注目度）: 17.964144370494157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrast consistency, the ability of a model to make consistently correct predictions in the presence of perturbations, is an essential aspect in NLP. While studied in tasks such as sentiment analysis and reading comprehension, it remains unexplored in open-domain question answering (OpenQA) due to the difficulty of collecting perturbed questions that satisfy factuality requirements. In this work, we collect minimally edited questions as challenging contrast sets to evaluate OpenQA models. Our collection approach combines both human annotation and large language model generation. We find that the widely used dense passage retriever (DPR) performs poorly on our contrast sets, despite fitting the training set well and performing competitively on standard test sets. To address this issue, we introduce a simple and effective query-side contrastive loss with the aid of data augmentation to improve DPR training. Our experiments on the contrast sets demonstrate that DPR's contrast consistency is improved without sacrificing its accuracy on the standard test sets.
• Abstract（参考訳）: 対照的に、摂動の存在下でモデルが常に正しい予測を行う能力は、NLPにおいて不可欠な側面である。 感情分析や読書理解などのタスクで研究されているが、事実性要件を満たす摂動質問の収集が困難であるため、オープンドメイン質問応答(OpenQA)では未検討のままである。 本研究では,OpenQAモデルを評価するためのコントラストセットとして,最小限に編集された質問を収集する。 我々の収集手法は、人間のアノテーションと大きな言語モデルの生成を組み合わせている。 広範に使用されるdprは, トレーニングセットに適合し, 標準テストセットで競争力を保ったにもかかわらず, コントラストセットでは性能が低かった。 この問題に対処するために,dprトレーニングを改善するために,データ拡張の助けを借りて,クエリサイドのコントラストロスをシンプルかつ効果的に導入する。 コントラスト集合に関する実験により、DPRのコントラスト整合性は標準試験セットの精度を犠牲にすることなく改善されることを示した。

関連論文リスト

• Gotta: Generative Few-shot Question Answering by Prompt-based Cloze Data Augmentation [18.531941086922256]
  QA (Few-shot Question answering) は、コンテキストパスから一連の質問に対する回答を正確に発見することを目的としている。 我々は,ジェネレーティブPROmpTベースのdaTa拡張フレームワークであるGottaを開発した。 人間の推論プロセスにインスパイアされた我々は、クローズタスクを統合して、数発のQA学習を強化することを提案する。
  論文  参考訳（メタデータ） (2023-06-07T01:44:43Z)
• Momentum Contrastive Pre-training for Question Answering [54.57078061878619]
  MCROSSはモーメントコントラスト学習フレームワークを導入し、クローゼのような解答確率と自然な問合せのサンプルペアを一致させる。 本手法は,教師付きシナリオとゼロショットシナリオの両方において,すべてのベースラインと比較して顕著な改善を実現している。
  論文  参考訳（メタデータ） (2022-12-12T08:28:22Z)
• Understanding and Mitigating Overfitting in Prompt Tuning for Vision-Language Models [108.13378788663196]
  本稿では, トレーニング過程全体において, 低ランク部分空間にバックプロパゲーションの勾配を投影するSubspace Prompt Tuning(SubPT)を提案する。 我々はCoOpにノベル・ラーナー・フィーチャー(NFL)を装備し、学習したプロンプトをトレーニングセット以外の新しいカテゴリに一般化する能力を高める。
  論文  参考訳（メタデータ） (2022-11-04T02:06:22Z)
• A New Score for Adaptive Tests in Bayesian and Credal Networks [64.80185026979883]
  テストは、そのシークエンスと質問数とが、テイカーの推定スキルに基づいて動的に調整されるときに適応する。 後部確率のモードに基づいて、別のスコアの族を提示するので、説明し易い。
  論文  参考訳（メタデータ） (2021-05-25T20:35:42Z)
• Automatic Generation of Contrast Sets from Scene Graphs: Probing the Compositional Consistency of GQA [16.95631509102115]
  教師付きモデルは、しばしばデータアーティファクトを利用して良好なテストスコアを達成し、そのパフォーマンスはトレーニング分布外のサンプルで著しく低下します。 本稿では,リッチなセマンティック入力表現を利用して,視覚的質問応答タスクのコントラストセットを自動的に生成する新しい手法を提案する。 GQAの組成とラベルのバランスの取れた分布にもかかわらず、2つのハイパフォーマンスモデルが元のテストセットと比較して13-17%の精度で低下することがわかった。
  論文  参考訳（メタデータ） (2021-03-17T12:19:25Z)
• MUTANT: A Training Paradigm for Out-of-Distribution Generalization in Visual Question Answering [58.30291671877342]
  MUTANTは、モデルが知覚的に類似しているが意味的に異なる入力の変異に露出する訓練パラダイムである。 MUTANTは、VQA-CPに新しい最先端の精度を確立し、10.57%$改善した。
  論文  参考訳（メタデータ） (2020-09-18T00:22:54Z)
• Self-supervised pre-training and contrastive representation learning for multiple-choice video QA [39.78914328623504]
  Video Question Answering (ビデオQA)は、与えられた質問に答えるために、ビデオと言語の両方の微妙な理解を必要とする。 本稿では,自己指導型事前学習段階と主段階における教師付きコントラスト学習を補助学習として,複数選択型ビデオ質問応答のための新しい学習手法を提案する。 提案手法は,TVQA,TVQA+,DramaQAといったマルチチョイスビデオQAに関連する高競争性ベンチマークデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2020-09-17T03:37:37Z)
• Robust Question Answering Through Sub-part Alignment [53.94003466761305]
  我々はアライメント問題として質問応答をモデル化する。 私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
  論文  参考訳（メタデータ） (2020-04-30T09:10:57Z)
• Evaluating Models' Local Decision Boundaries via Contrast Sets [119.38387782979474]
  テストデータの体系的なギャップを埋めるのに役立つNLPのための新しいアノテーションパラダイムを提案する。 10種類のNLPデータセットに対してコントラストセットを作成することで,コントラストセットの有効性を示す。 我々のコントラストセットは明示的には逆ではないが、モデルの性能は元のテストセットよりも大幅に低い。
  論文  参考訳（メタデータ） (2020-04-06T14:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。