Fugu-MT 論文翻訳(概要): Model Agnostic Answer Reranking System for Adversarial Question Answering

論文の概要: Model Agnostic Answer Reranking System for Adversarial Question Answering

arxiv url: http://arxiv.org/abs/2102.03016v1
Date: Fri, 5 Feb 2021 06:18:12 GMT
ステータス: 翻訳完了
システム内更新日: 2021-02-08 14:43:23.632047
Title: Model Agnostic Answer Reranking System for Adversarial Question Answering
Title（参考訳）: 対比質問応答のためのモデル診断応答ランキングシステム
Authors: Sagnik Majumder, Chinmoy Samant, Greg Durrett
Abstract要約: 本稿では,任意のQAモデルに直接適用可能なモデルに依存しない手法を提案する。提案手法では,質問内容と重複する内容に基づいて,候補回答をスコアリングする明示的な回答候補のランク付け機構を採用している。
参考スコア（独自算出の注目度）: 26.061730057307223
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While numerous methods have been proposed as defenses against adversarial examples in question answering (QA), these techniques are often model specific, require retraining of the model, and give only marginal improvements in performance over vanilla models. In this work, we present a simple model-agnostic approach to this problem that can be applied directly to any QA model without any retraining. Our method employs an explicit answer candidate reranking mechanism that scores candidate answers on the basis of their content overlap with the question before making the final prediction. Combined with a strong base QAmodel, our method outperforms state-of-the-art defense techniques, calling into question how well these techniques are actually doing and strong these adversarial testbeds are.
Abstract（参考訳）: 質問応答(QA)における敵の例に対する防御策として多くの手法が提案されているが、これらの手法はしばしばモデル固有であり、モデルの再訓練を必要とし、バニラモデルよりも性能を極端に向上させるだけである。本研究では、この問題に対する単純なモデル非依存アプローチを提示し、リトレーニングなしで任意のQAモデルに直接適用することができる。提案手法は,質問内容と質問内容の重なりに基づいて候補回答をスコア付けし,最終予測を行う明示的な回答候補リランキング機構を用いる。強力なベースQAモデルと組み合わせることで、我々の手法は最先端の防御技術より優れており、これらの技術が実際にどれだけうまく行っており、敵の検層が強いかという疑問を投げかける。

関連論文リスト

Uncertainty Quantification in Retrieval Augmented Question Answering [57.05827081638329]
本稿では,QAモデルが備える通路の有効性を推定することで,QAモデルの不確実性を定量化する。我々は、目標QAモデルの通過効率を予測するために軽量ニューラルネットワークを訓練し、単純な情報理論のメトリクスが解の正しさをある程度予測できる一方で、より高価なサンプリングベースの手法を効率的に近似または上回ることを示す。
論文参考訳（メタデータ） (2025-02-25T11:24:52Z)
Admitting Ignorance Helps the Video Question Answering Models to Answer [82.22149677979189]
モデルはしばしばショートカットを定め、結果として質問と回答の間に急激な相関関係が生じる、と我々は主張する。そこで本研究では,モデルに不明瞭さを認めざるを得ない新たな学習手法を提案する。実際に、我々のフレームワークに最先端のモデルを統合することで、その有効性を検証する。
論文参考訳（メタデータ） (2025-01-15T12:44:52Z)
Towards Robust Extractive Question Answering Models: Rethinking the Training Methodology [0.34530027457862006]
従来の研究によると、既存のモデルは、答えがつかない質問を含むEQAデータセットでトレーニングされた場合、ロバスト性の著しい欠如を示している。提案手法は,EQA問題に対する新たな損失関数を含み,多数のEQAデータセットに存在する暗黙の仮定に挑戦する。本モデルでは,2種類の敵攻撃に対するロバスト性が有意に向上し,デフォルトモデルに比べて性能は3分の1程度低下した。
論文参考訳（メタデータ） (2024-09-29T20:35:57Z)
Robust Training for Conversational Question Answering Models with Reinforced Reformulation Generation [26.752549844734034]
本研究は,ゴールドQAペアのみの標準トレーニングを施したConvQAモデルにおいて,厳密なトレーニングを施したConvQAモデルよりも有意に優れていたことを示す。 1つのベンチマークで主要なモデルコンポーネントをトレーニングし、それを別のベンチマークにゼロショットで適用できることを実証する。
論文参考訳（メタデータ） (2023-10-20T13:51:08Z)
An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
論文参考訳（メタデータ） (2023-05-26T14:59:53Z)
Logical Implications for Visual Question Answering Consistency [2.005299372367689]
本稿では,VQAモデルに広く適用可能な新しい整合損失項を提案する。本稿では,これらの論理的関係を専用言語モデルを用いて推論し,一貫性損失関数として用いることを提案する。我々は、VQAイントロスペクションとDMEデータセットに関する広範な実験を行い、我々の手法が最先端のVQAモデルに改善をもたらすことを示す。
論文参考訳（メタデータ） (2023-03-16T16:00:18Z)
Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
論文参考訳（メタデータ） (2023-02-10T09:42:07Z)
Momentum Contrastive Pre-training for Question Answering [54.57078061878619]
MCROSSはモーメントコントラスト学習フレームワークを導入し、クローゼのような解答確率と自然な問合せのサンプルペアを一致させる。本手法は,教師付きシナリオとゼロショットシナリオの両方において,すべてのベースラインと比較して顕著な改善を実現している。
論文参考訳（メタデータ） (2022-12-12T08:28:22Z)
Attention-guided Generative Models for Extractive Question Answering [17.476450946279037]
近年,事前学習型生成系列列列モデル (seq2seq) は質問応答において大きな成功を収めている。本稿では,デコーダのクロスアテンションパターンを利用して,生成モデルから抽出された回答を抽出する簡単な手法を提案する。
論文参考訳（メタデータ） (2021-10-12T23:02:35Z)
Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
論文参考訳（メタデータ） (2021-05-06T14:12:26Z)
UnitedQA: A Hybrid Approach for Open Domain Question Answering [70.54286377610953]
最近の訓練済みのニューラル言語モデルに基づいて,抽出的および生成的読取能力を高めるために,新しい手法を適用した。私たちのアプローチは、それぞれNaturalQuestionsとTriviaQAと正確な一致で、以前の最先端のモデルを3.3と2.7ポイント上回る。
論文参考訳（メタデータ） (2021-01-01T06:36:16Z)
Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
教師なし質問回答(QA)を改善するための2つのアプローチを提案する。まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
論文参考訳（メタデータ） (2020-05-06T15:56:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。