論文の概要: Towards Robust Extractive Question Answering Models: Rethinking the Training Methodology

• arxiv url: http://arxiv.org/abs/2409.19766v1
• Date: Sun, 29 Sep 2024 20:35:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:07:11.349341
• Title: Towards Robust Extractive Question Answering Models: Rethinking the Training Methodology
• Title（参考訳）: ロバスト抽出質問応答モデルに向けて : トレーニング方法論の再考
• Authors: Son Quoc Tran, Matt Kretchmar,
• Abstract要約: 従来の研究によると、既存のモデルは、答えがつかない質問を含むEQAデータセットでトレーニングされた場合、ロバスト性の著しい欠如を示している。 提案手法は,EQA問題に対する新たな損失関数を含み,多数のEQAデータセットに存在する暗黙の仮定に挑戦する。 本モデルでは,2種類の敵攻撃に対するロバスト性が有意に向上し,デフォルトモデルに比べて性能は3分の1程度低下した。
• 参考スコア（独自算出の注目度）: 0.34530027457862006
• License:
• Abstract: This paper proposes a novel training method to improve the robustness of Extractive Question Answering (EQA) models. Previous research has shown that existing models, when trained on EQA datasets that include unanswerable questions, demonstrate a significant lack of robustness against distribution shifts and adversarial attacks. Despite this, the inclusion of unanswerable questions in EQA training datasets is essential for ensuring real-world reliability. Our proposed training method includes a novel loss function for the EQA problem and challenges an implicit assumption present in numerous EQA datasets. Models trained with our method maintain in-domain performance while achieving a notable improvement on out-of-domain datasets. This results in an overall F1 score improvement of 5.7 across all testing sets. Furthermore, our models exhibit significantly enhanced robustness against two types of adversarial attacks, with a performance decrease of only about a third compared to the default models.
• Abstract（参考訳）: 本稿では,抽出質問応答(EQA)モデルの堅牢性を向上させるための新しいトレーニング手法を提案する。 従来の研究によると、既存のモデルは、答えがつかない質問を含むEQAデータセットでトレーニングされている場合、分散シフトや敵の攻撃に対するロバスト性の欠如が示されていた。 それにもかかわらず、EQAトレーニングデータセットに解決不可能な質問を含めることは、現実の信頼性を確保する上で不可欠である。 提案手法は,EQA問題に対する新たな損失関数を含み,多数のEQAデータセットに存在する暗黙の仮定に挑戦する。 我々の方法で訓練されたモデルはドメイン内のパフォーマンスを維持しつつ、ドメイン外のデータセットを顕著に改善します。 その結果、全テストセットでF1スコアが5.7に向上した。 さらに,本モデルでは,2種類の敵攻撃に対するロバスト性が有意に向上し,デフォルトモデルに比べて性能は3分の1程度低下した。

関連論文リスト

• Robust Training for Conversational Question Answering Models with Reinforced Reformulation Generation [26.752549844734034]
  本研究は,ゴールドQAペアのみの標準トレーニングを施したConvQAモデルにおいて,厳密なトレーニングを施したConvQAモデルよりも有意に優れていたことを示す。 1つのベンチマークで主要なモデルコンポーネントをトレーニングし、それを別のベンチマークにゼロショットで適用できることを実証する。
  論文  参考訳（メタデータ） (2023-10-20T13:51:08Z)
• Analysis of the Reasoning with Redundant Information Provided Ability of Large Language Models [0.0]
  大きな言語モデル(LLM)は、さまざまな自然言語処理タスクにまたがる印象的な機能を示している。 このギャップに対処するため,Reasoning with Redundant Information Provided (RRIP) と呼ばれる新しいQAタスクが導入された。 本研究は,LlaMA2-13B-chatとGPT-3.5 (generative pre-trained transformer 3.5)の2つのLLMを評価し,従来のQAタスクとRRIPタスクとの対比を行った。
  論文  参考訳（メタデータ） (2023-10-06T06:20:06Z)
• Improving Visual Question Answering Models through Robustness Analysis and In-Context Learning with a Chain of Basic Questions [70.70725223310401]
  本研究は,VQAモデルのロバスト性を評価するために,基本質問と呼ばれる意味的関連質問を利用する新しい手法を提案する。 実験により,提案手法はVQAモデルのロバスト性を効果的に解析することを示した。
  論文  参考訳（メタデータ） (2023-04-06T15:32:35Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Tokenization Consistency Matters for Generative Models on Extractive NLP Tasks [54.306234256074255]
  生成モデルの訓練において一般的に無視されるトークン化の不整合の問題を特定する。 この問題は、入力と出力が無矛盾にトークン化されると、これらのタスクの抽出特性を損なう。 一貫性のあるトークン化では、ドメイン内のデータセットとドメイン外のデータセットの両方で、モデルのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2022-12-19T23:33:21Z)
• Towards Robust Visual Question Answering: Making the Most of Biased Samples via Contrastive Learning [54.61762276179205]
  我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。 具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。 我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
  論文  参考訳（メタデータ） (2022-10-10T11:05:21Z)
• Retrieval-guided Counterfactual Generation for QA [5.434621727606356]
  質問応答のための偽物作成の課題に焦点をあてる。 本研究では,逆実効評価とトレーニングデータを作成するRetrieve-Generate-Filter手法を開発した。 RGFデータは局所摂動に対するモデルの堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-10-14T17:56:37Z)
• Attention-guided Generative Models for Extractive Question Answering [17.476450946279037]
  近年,事前学習型生成系列列列モデル (seq2seq) は質問応答において大きな成功を収めている。 本稿では,デコーダのクロスアテンションパターンを利用して,生成モデルから抽出された回答を抽出する簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T23:02:35Z)
• Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
  本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。 ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。 特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-06T14:12:26Z)
• Contrast and Classify: Training Robust VQA Models [60.80627814762071]
  本稿では,クロスエントロピーとコントラスト損失の両方を最適化する新しいトレーニングパラダイム(ConClaT)を提案する。 双方の損失を -- 交互に,あるいは共同で -- 最適化することが,効果的なトレーニングの鍵であることに気付きました。
  論文  参考訳（メタデータ） (2020-10-13T00:23:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。