論文の概要: Can NLI Models Verify QA Systems' Predictions?

• arxiv url: http://arxiv.org/abs/2104.08731v1
• Date: Sun, 18 Apr 2021 06:03:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:42:00.191657
• Title: Can NLI Models Verify QA Systems' Predictions?
• Title（参考訳）: NLIモデルはQAシステムの予測を検証できるか?
• Authors: Jifan Chen, Eunsol Choi, Greg Durrett
• Abstract要約: 私たちは、自然言語推論(NLI)を使用して堅牢な質問応答システムを構築します。 大規模なトレーニング済みモデルと最近のデータセットを活用して、強力な質問コンバータと非コンテキスト化モジュールを構築しています。 我々のNLIアプローチは、一般的に異なる領域にわたるQAモデルの信頼性推定を改善することができることを示す。
• 参考スコア（独自算出の注目度）: 34.46234860404459
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To build robust question answering systems, we need the ability to verify whether answers to questions are truly correct, not just "good enough" in the context of imperfect QA datasets. We explore the use of natural language inference (NLI) as a way to achieve this goal, as NLI inherently requires the premise (document context) to contain all necessary information to support the hypothesis (proposed answer to the question). We leverage large pre-trained models and recent prior datasets to construct powerful question converter and decontextualization modules, which can reformulate QA instances as premise-hypothesis pairs with very high reliability. Then, by combining standard NLI datasets with NLI examples automatically derived from QA training data, we can train NLI models to judge the correctness of QA models' proposed answers. We show that our NLI approach can generally improve the confidence estimation of a QA model across different domains, evaluated in a selective QA setting. Careful manual analysis over the predictions of our NLI model shows that it can further identify cases where the QA model produces the right answer for the wrong reason, or where the answer cannot be verified as addressing all aspects of the question.
• Abstract（参考訳）: 堅牢な質問応答システムを構築するためには、不完全なQAデータセットのコンテキストにおいて、質問に対する回答が本当に正しいかどうかを検証する能力が必要です。 我々は,この目的を達成する手段として自然言語推論(NLI)の利用を検討する。NLIは本来,仮説を支持するために必要なすべての情報(質問に対する回答)を格納するために,前提(文書コンテキスト)を必要とする。 我々は、大規模な事前学習モデルと最近のデータセットを活用し、強力な質問変換モジュールと非コンテキスト化モジュールを構築し、QAインスタンスを非常に高い信頼性で前提-仮説ペアとして再構成することができる。 そして、標準NLIデータセットとQAトレーニングデータから自動的に抽出されたNLI例を組み合わせることで、NLIモデルをトレーニングして、QAモデルの提案した回答の正しさを判断する。 我々のNLIアプローチは一般に、選択的なQA設定で評価された異なる領域にわたるQAモデルの信頼性推定を改善することができることを示す。 我々のNLIモデルの予測に関する注意深い手動分析は、QAモデルが間違った理由の正しい答えを生み出している場合や、その答えが問題のすべての側面に対処するものとして検証できない場合をさらに特定できることを示している。

関連論文リスト

• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• A Lightweight Method to Generate Unanswerable Questions in English [18.323248259867356]
  本稿では,英語における疑問生成のための簡易なデータ拡張手法について検討する。 回答可能な質問に対して、Antonymとエンティティスワップを実行します。 従来の最先端技術と比較すると、トレーニング不要で軽量な戦略で生成されたデータにより、より良いモデルが得られます。
  論文  参考訳（メタデータ） (2023-10-30T10:14:52Z)
• QADYNAMICS: Training Dynamics-Driven Synthetic QA Diagnostic for Zero-Shot Commonsense Question Answering [48.25449258017601]
  State-of-the-artはCommonSense Knowledge Basesから構築されたQAペア上での微調整言語モデルにアプローチする。 本稿では,QA診断と改善のためのトレーニング動的フレームワークQADYNAMICSを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:27:34Z)
• QASnowball: An Iterative Bootstrapping Framework for High-Quality Question-Answering Data Generation [67.27999343730224]
  QAデータ拡張のための反復型ブートストラップフレームワーク(QASnowball)を導入する。 QASnowballは、教師付きサンプルのシードセットに基づいて、大規模で高品質なQAデータを反復的に生成することができる。 本研究では, 高資源の英語シナリオと中資源の中国語シナリオで実験を行い, 実験結果から, QASnowball が生成したデータによりQAモデルを容易に作成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-19T05:20:36Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。