論文の概要: FACTIFY-5WQA: 5W Aspect-based Fact Verification through Question
Answering
- arxiv url: http://arxiv.org/abs/2305.04329v1
- Date: Sun, 7 May 2023 16:52:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 16:22:34.412154
- Title: FACTIFY-5WQA: 5W Aspect-based Fact Verification through Question
Answering
- Title（参考訳）: factify-5wqa: 質問応答による5wのアスペクトベースファクト検証
- Authors: Anku Rani, S.M Towhidul Islam Tonmoy, Dwip Dalal, Shreya Gautam, Megha
Chakraborty, Aman Chadha, Amit Sheth, Amitava Das
- Abstract要約: 人間のファクトチェッカーは一般的に、検証の至上性のクレームを検証するためのいくつかの論理的なステップに従う。
アスペクトベースの(どの部分が真実で、どの部分が偽であるか)説明可能なシステムを持つことが必要である。
本稿では,質問応答に基づく事実説明可能性のための5Wフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 3.0401523614135333
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic fact verification has received significant attention recently.
Contemporary automatic fact-checking systems focus on estimating truthfulness
using numerical scores which are not human-interpretable. A human fact-checker
generally follows several logical steps to verify a verisimilitude claim and
conclude whether it is truthful or a mere masquerade. Popular fact-checking
websites follow a common structure for fact categorization such as half true,
half false, false, pants on fire, etc. Therefore, it is necessary to have an
aspect-based (which part is true and which part is false) explainable system
that can assist human fact-checkers in asking relevant questions related to a
fact, which can then be validated separately to reach a final verdict. In this
paper, we propose a 5W framework (who, what, when, where, and why) for
question-answer-based fact explainability. To that end, we have gathered a
semi-automatically generated dataset called FACTIFY-5WQA, which consists of
395, 019 facts along with relevant 5W QAs underscoring our major contribution
to this paper. A semantic role labeling system has been utilized to locate 5Ws,
which generates QA pairs for claims using a masked language model. Finally, we
report a baseline QA system to automatically locate those answers from evidence
documents, which can be served as the baseline for future research in this
field. Lastly, we propose a robust fact verification system that takes
paraphrased claims and automatically validates them. The dataset and the
baseline model are available at https://github.com/ankuranii/acl-5W-QA.
- Abstract（参考訳）: 自動事実検証は近年大きな注目を集めている。
現代自動ファクトチェックシステムは、人間に解釈できない数値スコアを用いて真理度を推定することに焦点を当てている。
ヒューマン・ファクト・チェッカーは一般に、正当性クレームを検証し、それが真理であるかどうかを判断するためのいくつかの論理的なステップに従う。
人気のあるファクトチェックwebサイトは、半真実、半偽、偽、火のズボンなど、ファクト分類のための共通の構造に従う。
したがって、人間の事実確認者に対して、事実に関連する質問をすることを支援するアスペクトベース(どの部分が真実で、どの部分が偽であるか)で説明可能システムを持つことが必要であり、それを別々に検証して最終評決に達することができる。
本稿では5wフレームワーク(who,what, when, where, and why)を提案する。
その目的のために、私たちはfactify-5wqaと呼ばれる半自動生成データセットを収集しました。
セマンティックロールラベリングシステムを用いて、5Wを探索し、マスク付き言語モデルを用いてクレームのQAペアを生成する。
最後に,これらの回答を証拠文書から自動的に検出するベースラインQAシステムについて報告する。
最後に,言い換えられた主張を自動検証する堅牢な事実検証システムを提案する。
データセットとベースラインモデルはhttps://github.com/ankuranii/acl-5W-QAで公開されている。
関連論文リスト
- Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。
我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。
データセットの精度は6%向上した。
論文 参考訳（メタデータ） (2024-10-07T00:09:50Z) - Overview of Factify5WQA: Fact Verification through 5W Question-Answering [25.679348027485254]
Factify5WQAタスクは、偽ニュースの自動検出に向けた研究を強化することを目的としている。
最高成績のチームは69.56%の精度でベースラインを35%上回った。
論文 参考訳（メタデータ） (2024-10-05T17:28:18Z) - QACHECK: A Demonstration System for Question-Guided Multi-Hop
Fact-Checking [68.06355980166053]
本稿では,質問誘導型マルチホップFact-Checking(QACHECK)システムを提案する。
クレームの検証に批判的な一連の質問をすることで、モデルの推論プロセスを導く。
各質問を支持する証拠の源となり、透明で説明可能な、ユーザフレンドリーな事実チェックプロセスが育まれます。
論文 参考訳（メタデータ） (2023-10-11T15:51:53Z) - Can NLP Models 'Identify', 'Distinguish', and 'Justify' Questions that
Don't have a Definitive Answer? [43.03399918557937]
現実世界のアプリケーションでは、ユーザは決定的な答えを持たない質問をすることが多い。
QnotAは、明確な答えを持たない5つのカテゴリの質問からなるデータセットである。
このデータを用いて、システムの「識別」、「識別」、QnotA質問を「正当化」する能力をテストする3つの評価タスクを定式化する。
GPT-3 や Flan T5 といった SOTA モデルでさえ,これらのタスクはうまく行っていない。
論文 参考訳（メタデータ） (2023-09-08T23:12:03Z) - MythQA: Query-Based Large-Scale Check-Worthy Claim Detection through
Multi-Answer Open-Domain Question Answering [8.70509665552136]
チェック価値のあるクレーム検出は、下流のファクトチェックシステムや、チェックする人間の専門家に、もっともらしい誤情報を提供することを目的としている。
しかし、Twitterのような大規模情報ソースから直接、チェック価値のあるクレームを効率的に検出する方法は、まだ解明されていない。
我々は、クエリベースの大規模チェックアワークレーム検出のための矛盾するスタンスマイニングを含む、複数回答のオープンドメイン質問応答(QA)タスクであるMythQAを紹介する。
論文 参考訳（メタデータ） (2023-07-21T18:35:24Z) - ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。
これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。
本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
論文 参考訳（メタデータ） (2022-12-15T15:52:39Z) - Ask to Know More: Generating Counterfactual Explanations for Fake Claims [11.135087647482145]
本稿では,あるニュースがなぜ偽物と認識されたのかを理解するために,事実チェック予測を反実的説明を用いて解明することを提案する。
この研究では、偽ニュースの反実的な説明を生成するには、良い質問、矛盾の発見、適切な推論の3つのステップがある。
以上の結果から,提案手法は最先端の手法と比較して,最も有用な説明が得られたことが示唆された。
論文 参考訳（メタデータ） (2022-06-10T04:42:00Z) - Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。
我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。
これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
論文 参考訳（メタデータ） (2022-05-14T00:40:57Z) - FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。
我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
論文 参考訳（メタデータ） (2021-07-05T17:31:44Z) - Zero-shot Fact Verification by Claim Generation [85.27523983027471]
我々は,堅牢な事実検証モデルをトレーニングするフレームワークであるQACGを開発した。
われわれは自動的に生成されたクレームを使って、Wikipediaのエビデンスからサポートしたり、反論したり、検証したりできる。
ゼロショットシナリオでは、QACGはRoBERTaモデルのF1を50%から77%に改善し、パフォーマンスは2K以上の手作業による例に相当する。
論文 参考訳（メタデータ） (2021-05-31T03:13:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。