論文の概要: Model Agnostic Answer Reranking System for Adversarial Question Answering

• arxiv url: http://arxiv.org/abs/2102.03016v1
• Date: Fri, 5 Feb 2021 06:18:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-08 14:43:23.632047
• Title: Model Agnostic Answer Reranking System for Adversarial Question Answering
• Title（参考訳）: 対比質問応答のためのモデル診断応答ランキングシステム
• Authors: Sagnik Majumder, Chinmoy Samant, Greg Durrett
• Abstract要約: 本稿では,任意のQAモデルに直接適用可能なモデルに依存しない手法を提案する。 提案手法では,質問内容と重複する内容に基づいて,候補回答をスコアリングする明示的な回答候補のランク付け機構を採用している。
• 参考スコア（独自算出の注目度）: 26.061730057307223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While numerous methods have been proposed as defenses against adversarial examples in question answering (QA), these techniques are often model specific, require retraining of the model, and give only marginal improvements in performance over vanilla models. In this work, we present a simple model-agnostic approach to this problem that can be applied directly to any QA model without any retraining. Our method employs an explicit answer candidate reranking mechanism that scores candidate answers on the basis of their content overlap with the question before making the final prediction. Combined with a strong base QAmodel, our method outperforms state-of-the-art defense techniques, calling into question how well these techniques are actually doing and strong these adversarial testbeds are.
• Abstract（参考訳）: 質問応答(QA)における敵の例に対する防御策として多くの手法が提案されているが、これらの手法はしばしばモデル固有であり、モデルの再訓練を必要とし、バニラモデルよりも性能を極端に向上させるだけである。 本研究では、この問題に対する単純なモデル非依存アプローチを提示し、リトレーニングなしで任意のQAモデルに直接適用することができる。 提案手法は,質問内容と質問内容の重なりに基づいて候補回答をスコア付けし,最終予測を行う明示的な回答候補リランキング機構を用いる。 強力なベースQAモデルと組み合わせることで、我々の手法は最先端の防御技術より優れており、これらの技術が実際にどれだけうまく行っており、敵の検層が強いかという疑問を投げかける。

関連論文リスト

• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• Learning Answer Generation using Supervision from Automatic Question Answering Evaluators [98.9267570170737]
  我々は、自動QA評価モデル(GAVA)の監督を用いたGenQAのための新しいトレーニングパラダイムを提案する。 提案手法を2つの学術的, 1つの産業的データセット上で評価し, 過去の技術状況に対して, 回答精度を大幅に向上させた。
  論文  参考訳（メタデータ） (2023-05-24T16:57:04Z)
• Logical Implications for Visual Question Answering Consistency [2.005299372367689]
  本稿では,VQAモデルに広く適用可能な新しい整合損失項を提案する。 本稿では,これらの論理的関係を専用言語モデルを用いて推論し,一貫性損失関数として用いることを提案する。 我々は、VQAイントロスペクションとDMEデータセットに関する広範な実験を行い、我々の手法が最先端のVQAモデルに改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-03-16T16:00:18Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)
• Momentum Contrastive Pre-training for Question Answering [41.5724072701005]
  MCROSSはモーメントコントラスト学習フレームワークを導入し、クローゼのような解答確率と自然な問合せのサンプルペアを一致させる。 本手法は,教師付きシナリオとゼロショットシナリオの両方において,すべてのベースラインと比較して顕著な改善を実現している。
  論文  参考訳（メタデータ） (2022-12-12T08:28:22Z)
• Reinforced Question Rewriting for Conversational Question Answering [25.555372505026526]
  対話型質問を自己完結型質問に書き換えるモデルを開発した。 既存のシングルターンQAシステムを使用することで、CQAモデルをスクラッチからトレーニングすることを回避することができる。 我々は、強化学習による書き換えモデルの監督にQAフィードバックを用いることを提案する。
  論文  参考訳（メタデータ） (2022-10-27T21:23:36Z)
• Attention-guided Generative Models for Extractive Question Answering [17.476450946279037]
  近年,事前学習型生成系列列列モデル (seq2seq) は質問応答において大きな成功を収めている。 本稿では,デコーダのクロスアテンションパターンを利用して,生成モデルから抽出された回答を抽出する簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T23:02:35Z)
• Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
  本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。 ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。 特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-06T14:12:26Z)
• UnitedQA: A Hybrid Approach for Open Domain Question Answering [70.54286377610953]
  最近の訓練済みのニューラル言語モデルに基づいて,抽出的および生成的読取能力を高めるために,新しい手法を適用した。 私たちのアプローチは、それぞれNaturalQuestionsとTriviaQAと正確な一致で、以前の最先端のモデルを3.3と2.7ポイント上回る。
  論文  参考訳（メタデータ） (2021-01-01T06:36:16Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。