論文の概要: MythQA: Query-Based Large-Scale Check-Worthy Claim Detection through Multi-Answer Open-Domain Question Answering

• arxiv url: http://arxiv.org/abs/2307.11848v1
• Date: Fri, 21 Jul 2023 18:35:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 19:16:35.044899
• Title: MythQA: Query-Based Large-Scale Check-Worthy Claim Detection through Multi-Answer Open-Domain Question Answering
• Title（参考訳）: MythQA:マルチ回答オープンドメイン質問応答によるクエリベースの大規模チェックウェアクレーム検出
• Authors: Yang Bai, Anthony Colas, Daisy Zhe Wang
• Abstract要約: チェック価値のあるクレーム検出は、下流のファクトチェックシステムや、チェックする人間の専門家に、もっともらしい誤情報を提供することを目的としている。 しかし、Twitterのような大規模情報ソースから直接、チェック価値のあるクレームを効率的に検出する方法は、まだ解明されていない。 我々は、クエリベースの大規模チェックアワークレーム検出のための矛盾するスタンスマイニングを含む、複数回答のオープンドメイン質問応答(QA)タスクであるMythQAを紹介する。
• 参考スコア（独自算出の注目度）: 8.70509665552136
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Check-worthy claim detection aims at providing plausible misinformation to downstream fact-checking systems or human experts to check. This is a crucial step toward accelerating the fact-checking process. Many efforts have been put into how to identify check-worthy claims from a small scale of pre-collected claims, but how to efficiently detect check-worthy claims directly from a large-scale information source, such as Twitter, remains underexplored. To fill this gap, we introduce MythQA, a new multi-answer open-domain question answering(QA) task that involves contradictory stance mining for query-based large-scale check-worthy claim detection. The idea behind this is that contradictory claims are a strong indicator of misinformation that merits scrutiny by the appropriate authorities. To study this task, we construct TweetMythQA, an evaluation dataset containing 522 factoid multi-answer questions based on controversial topics. Each question is annotated with multiple answers. Moreover, we collect relevant tweets for each distinct answer, then classify them into three categories: "Supporting", "Refuting", and "Neutral". In total, we annotated 5.3K tweets. Contradictory evidence is collected for all answers in the dataset. Finally, we present a baseline system for MythQA and evaluate existing NLP models for each system component using the TweetMythQA dataset. We provide initial benchmarks and identify key challenges for future models to improve upon. Code and data are available at: https://github.com/TonyBY/Myth-QA
• Abstract（参考訳）: check-worthy claims detectionは、ダウンストリームのファクトチェックシステムや人間の専門家に、信頼できる誤った情報を提供することを目的としている。 これはファクトチェックプロセスを加速するための重要なステップです。 しかし、twitterのような大規模な情報ソースから直接、チェックに値する請求を効率的に検出する方法は、未調査のままである。 このギャップを埋めるために、クエリベースの大規模チェックアワークレーム検出のための矛盾するスタンスマイニングを含む、複数回答のオープンドメイン質問応答(QA)タスクであるMythQAを導入する。 この背景にある考え方は、矛盾する主張は、適切な当局による精査に値する誤報の強い指標であるということである。 この課題を考察するために,議論を呼んだトピックに基づいた522のファクトイド質問を含む評価データセットTweetMythQAを構築した。 各質問には複数の回答が添付されている。 さらに,それぞれの回答について関連性のあるツイートを収集し,その回答を“Supporting”,“Refuting”,“Neutral”の3つのカテゴリに分類する。 合計で5.3kのツイートをアノテートした。 データセット内のすべての回答に対して、対照的な証拠が収集される。 最後に、MythQAのベースラインシステムを提案し、TweetMythQAデータセットを用いて、各システムコンポーネントの既存のNLPモデルを評価する。 最初のベンチマークを提供し、将来のモデルが改善すべき重要な課題を特定します。 コードとデータは、https://github.com/TonyBY/Myth-QA.comで入手できる。

関連論文リスト

• UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
  本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。 まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。 そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-10-17T02:38:09Z)
• IfQA: A Dataset for Open-domain Question Answering under Counterfactual Presuppositions [54.23087908182134]
  本稿では,QA(FifQA)と呼ばれる,最初の大規模対実的オープンドメイン質問応答(QA)ベンチマークを紹介する。 IfQAデータセットには3,800以上の質問が含まれている。 IfQAベンチマークによって引き起こされるユニークな課題は、検索と対実的推論の両方に関して、オープンドメインのQA研究を促進することである。
  論文  参考訳（メタデータ） (2023-05-23T12:43:19Z)
• FACTIFY-5WQA: 5W Aspect-based Fact Verification through Question Answering [3.0401523614135333]
  人間のファクトチェッカーは一般的に、検証の至上性のクレームを検証するためのいくつかの論理的なステップに従う。 アスペクトベースの(どの部分(s)が真で、どれが偽であるかを記述)説明可能なシステムを持つことが必要である。 本稿では,質問応答に基づく事実説明可能性のための5Wフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-07T16:52:21Z)
• RoMQA: A Benchmark for Robust, Multi-evidence, Multi-answer Question Answering [87.18962441714976]
  堅牢でマルチエビデンスな質問応答(QA)のための最初のベンチマークであるRoMQAを紹介します。 我々は、最先端の大規模言語モデルをゼロショット、少数ショット、微調整設定で評価し、RoMQAが難しいことを発見した。 以上の結果から,RoMQAは大規模言語モデルにとって難しいベンチマークであり,より堅牢なQA手法を構築するための定量的なテストを提供する。
  論文  参考訳（メタデータ） (2022-10-25T21:39:36Z)
• Effective FAQ Retrieval and Question Matching With Unsupervised Knowledge Injection [10.82418428209551]
  質問に対して適切な回答を得るための文脈言語モデルを提案する。 また、ドメイン固有の単語間のトポロジ関連関係を教師なしの方法で活用することについても検討する。 提案手法のバリエーションを,公開可能な中国語FAQデータセット上で評価し,さらに大規模質問マッチングタスクに適用し,コンテキスト化する。
  論文  参考訳（メタデータ） (2020-10-27T05:03:34Z)
• Open Question Answering over Tables and Text [55.8412170633547]
  オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。 ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。 我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
  論文  参考訳（メタデータ） (2020-10-20T16:48:14Z)
• ClarQ: A large-scale and diverse dataset for Clarification Question Generation [67.1162903046619]
  そこで我々は,スタックエクスチェンジから抽出したポストコメンデーションに基づいて,多様な,大規模な明確化質問データセットの作成を支援する,新しいブートストラップフレームワークを考案した。 質問応答の下流タスクに適用することで,新たに作成したデータセットの有用性を定量的に示す。 我々はこのデータセットを公開し、ダイアログと質問応答システムの拡張という大きな目標を掲げて、質問生成の分野の研究を促進する。
  論文  参考訳（メタデータ） (2020-06-10T17:56:50Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。