論文の概要: Using contradictions to improve QA systems

• arxiv url: http://arxiv.org/abs/2211.05598v1
• Date: Wed, 28 Sep 2022 02:44:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 19:19:51.162196
• Title: Using contradictions to improve QA systems
• Title（参考訳）: 矛盾を利用してQAシステムを改善する
• Authors: Domenic Rosati
• Abstract要約: 質問応答システムを改善するための1つのアプローチは、あるバックグラウンドコンテキストによって、回答がサポートされているか、あるいは必要かを決定することである。 本研究は,背景状況に矛盾した回答を選択することによる批判的アプローチを提案する。 矛盾に基づくシステムは、エンサーションのみのシステムよりも競争力があり、しばしば優れているが、矛盾、エンターメント、QAモデルの信頼性スコアを組み込んだモデルが最も優れている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring the safety of question answering (QA) systems is critical for deploying them in biomedical and scientific domains. One approach to improving these systems uses natural language inference (NLI) to determine whether answers are supported, or entailed, by some background context. However, these systems are vulnerable to supporting an answer with a source that is wrong or misleading. Our work proposes a critical approach by selecting answers based on whether they have been contradicted by some background context. We evaluate this system on multiple choice and extractive QA and find that while the contradiction-based systems are competitive with and often better than entailment-only systems, models that incorporate contradiction, entailment, and QA model confidence scores together are the best. Based on this result, we explore unique opportunities for leveraging contradiction-based approaches such for improving interpretability and selecting better answers.
• Abstract（参考訳）: 質問応答システム(qa)の安全性の確保は、生物医学および科学分野への展開に不可欠である。 これらのシステムを改善する1つのアプローチは、自然言語推論(nli)を使用して、何らかの背景コンテキストで回答がサポートされているか、あるいは含まれているかを判断する。 しかし、これらのシステムは間違った、あるいは誤解を招くソースで回答をサポートするのに弱い。 本研究は,背景状況に矛盾した回答を選択することによる批判的アプローチを提案する。 本システムは,複数選択および抽出されたQAに基づいて評価し,矛盾に基づくシステムは,係り受けのみのシステムと競合することが多いが,矛盾や係り受け,QAモデルの信頼性スコアを組み込んだモデルが最適であることを示す。 この結果に基づき,解釈可能性の向上や回答の選択など,矛盾に基づくアプローチを活用するためのユニークな機会を探索する。

関連論文リスト

• QUDSELECT: Selective Decoding for Questions Under Discussion Parsing [90.92351108691014]
  Question Under Examination (QUD) は、暗黙の質問を用いて文間の会話関係を明らかにするための談話フレームワークである。 本稿では,QUD基準を考慮したQUD依存構造を選択的に復号する共同学習フレームワークであるQUDSELECTを紹介する。 提案手法は,人的評価において9%,自動評価において4%,最先端のベースラインモデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-08-02T06:46:08Z)
• Controllable Decontextualization of Yes/No Question and Answers into Factual Statements [28.02936811004903]
  本稿では,極性質問に対する回答の制御可能な書き直しの問題に対処する。 本稿では,ソフト制約を利用して制御可能な書き換えを実現するトランスフォーマーシーケンス to シーケンスモデルを提案する。
  論文  参考訳（メタデータ） (2024-01-18T07:52:12Z)
• SQUARE: Automatic Question Answering Evaluation using Multiple Positive and Negative References [73.67707138779245]
  SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。 文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
  論文  参考訳（メタデータ） (2023-09-21T16:51:30Z)
• Evaluation of Question Answering Systems: Complexity of judging a natural language [3.4771957347698583]
  質問応答システム(QA)は、自然言語処理(NLP)において最も重要かつ急速に発展している研究課題の一つである。 本調査では,QAの枠組み,QAパラダイム,ベンチマークデータセット,およびQAシステムの定量的評価のための評価手法の体系的概要について述べる。
  論文  参考訳（メタデータ） (2022-09-10T12:29:04Z)
• Multifaceted Improvements for Conversational Open-Domain Question Answering [54.913313912927045]
  対話型オープンドメイン質問回答(MICQA)のための多面的改善フレームワークを提案する。 第一に、提案したKL分割に基づく正規化は、検索と解答のためのより良い質問理解をもたらすことができる。 第二に、追加されたポストランカモジュールは、より関連性の高いパスをトップにプッシュし、2アスペクトの制約で読者に選択できる。 第3に、十分に設計されたカリキュラム学習戦略は、訓練と推論の黄金の通路設定のギャップを効果的に狭め、黄金の通路支援なしで真の答えを見つけることを奨励する。
  論文  参考訳（メタデータ） (2022-04-01T07:54:27Z)
• Improving the Question Answering Quality using Answer Candidate Filtering based on Natural-Language Features [117.44028458220427]
  本稿では,質問応答(QA)の品質をいかに改善できるかという課題に対処する。 私たちの主な貢献は、QAシステムが提供する間違った回答を識別できるアプローチです。 特に,提案手法は誤答の大部分を除去しつつ,その可能性を示した。
  論文  参考訳（メタデータ） (2021-12-10T11:09:44Z)
• How to Build Robust FAQ Chatbot with Controllable Question Generator? [5.680871239968297]
  本稿では, セマンティックグラフを用いて, 高い品質, 多様性, 制御可能なサンプルを生成する手法を提案する。 流動的でセマンティックに生成されたQAペアは、我々の通過検索モデルをうまく騙すことができる。 生成されたデータセットは、新しいターゲット領域へのQAモデルの一般化性を向上させる。
  論文  参考訳（メタデータ） (2021-11-18T12:54:07Z)
• Using Natural Language Relations between Answer Choices for Machine Comprehension [32.45844219516005]
  本論文では,機械理解の性能向上のために,包含や矛盾といった解答選択間の自然言語関係を活用する手法を提案する。 また,両タスクを共同で学習するマルチタスク学習モデルを提案する。
  論文  参考訳（メタデータ） (2020-12-31T18:55:30Z)
• Robust Question Answering Through Sub-part Alignment [53.94003466761305]
  我々はアライメント問題として質問応答をモデル化する。 私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
  論文  参考訳（メタデータ） (2020-04-30T09:10:57Z)
• Unsupervised Question Decomposition for Question Answering [102.56966847404287]
  本論文では, ワンツーNアン教師付きシーケンスシーケンス(ONUS)のアルゴリズムを提案する。 当初,ドメイン外,マルチホップ開発セットのベースラインが強かったため,HotpotQAでは大きなQA改善が見られた。
  論文  参考訳（メタデータ） (2020-02-22T19:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。