論文の概要: Generating Fact Checking Briefs
- arxiv url: http://arxiv.org/abs/2011.05448v1
- Date: Tue, 10 Nov 2020 23:02:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 07:33:06.882385
- Title: Generating Fact Checking Briefs
- Title(参考訳): Fact Checking Briefsの生成
- Authors: Angela Fan, Aleksandra Piktus, Fabio Petroni, Guillaume Wenzek,
Marzieh Saeidi, Andreas Vlachos, Antoine Bordes, Sebastian Riedel
- Abstract要約: 本研究では, 事実確認の精度と効率を高めるために, 事実確認を行う前に, クレームに関する情報を提供することにより, 事実確認の精度と効率を高める方法について検討する。
我々は,クレームに条件付き質問セットを生成し,証拠を検索し,回答を生成するモデルQABrieferを開発した。
本研究では,特にQABriefsにおけるブリーフィングによる事実チェックによって,クラウドワーカーの精度が10%向上すると同時に,時間もわずかに低下することを示す。
- 参考スコア(独自算出の注目度): 97.82546239639964
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fact checking at scale is difficult -- while the number of active fact
checking websites is growing, it remains too small for the needs of the
contemporary media ecosystem. However, despite good intentions, contributions
from volunteers are often error-prone, and thus in practice restricted to claim
detection. We investigate how to increase the accuracy and efficiency of fact
checking by providing information about the claim before performing the check,
in the form of natural language briefs. We investigate passage-based briefs,
containing a relevant passage from Wikipedia, entity-centric ones consisting of
Wikipedia pages of mentioned entities, and Question-Answering Briefs, with
questions decomposing the claim, and their answers. To produce QABriefs, we
develop QABriefer, a model that generates a set of questions conditioned on the
claim, searches the web for evidence, and generates answers. To train its
components, we introduce QABriefDataset which we collected via crowdsourcing.
We show that fact checking with briefs -- in particular QABriefs -- increases
the accuracy of crowdworkers by 10% while slightly decreasing the time taken.
For volunteer (unpaid) fact checkers, QABriefs slightly increase accuracy and
reduce the time required by around 20%.
- Abstract(参考訳): 大規模なファクトチェックは難しい -- アクティブなファクトチェックwebサイトの数は増えているが、現代のメディアエコシステムのニーズには小さすぎる。
しかし、善意にもかかわらず、ボランティアからの貢献はしばしばエラーを起こし、実際にはクレーム検出に制限される。
そこで本研究では,事実チェックを行う前に,事実チェックの正確性と効率を向上させる方法について,自然言語ブリーフという形で検討する。
本稿では,ウィキペディアからの関連記事,言及されたエンティティのウィキペディアページからなるエンティティ中心のブリーフ,およびクレームを分解した質問回答ブリーフ,およびその回答を考察する。
QABrief を生成するために,クレームに条件付き質問セットを生成し,証拠を検索し,回答を生成するモデル QABriefer を開発した。
コンポーネントをトレーニングするために、クラウドソーシングを通じて収集したQABriefDatasetを紹介します。
特にカブリフス(qabriefs)による事実チェックによって、群衆労働者の正確性が10%向上し、時間の短縮が図られている。
ボランティア(無給)のファクトチェッカーの場合、QABriefsは精度をわずかに向上させ、必要な時間を約20%削減する。
関連論文リスト
- Fact or Fiction? Improving Fact Verification with Knowledge Graphs through Simplified Subgraph Retrievals [0.0]
本稿では, 証拠が構造化知識グラフの形で存在するデータセット上で, クレームを検証するための効率的な方法を提案する。
また,エビデンス検索プロセスの簡略化により,計算資源の削減とテストセット精度の向上を実現するモデルの構築が可能となる。
論文 参考訳(メタデータ) (2024-08-14T10:46:15Z) - QACHECK: A Demonstration System for Question-Guided Multi-Hop
Fact-Checking [68.06355980166053]
本稿では,質問誘導型マルチホップFact-Checking(QACHECK)システムを提案する。
クレームの検証に批判的な一連の質問をすることで、モデルの推論プロセスを導く。
各質問を支持する証拠の源となり、透明で説明可能な、ユーザフレンドリーな事実チェックプロセスが育まれます。
論文 参考訳(メタデータ) (2023-10-11T15:51:53Z) - Chain-of-Verification Reduces Hallucination in Large Language Models [80.99318041981776]
言語モデルが与える反応を考慮し、誤りを訂正する能力について検討する。
モデルが最初に初期応答をドラフトするChain-of-Verification (CoVe) 法を開発した。
ウィキデータからクローズドブックMultiSpanQAまで,さまざまなタスクにおける幻覚の減少を示す。
論文 参考訳(メタデータ) (2023-09-20T17:50:55Z) - MythQA: Query-Based Large-Scale Check-Worthy Claim Detection through
Multi-Answer Open-Domain Question Answering [8.70509665552136]
チェック価値のあるクレーム検出は、下流のファクトチェックシステムや、チェックする人間の専門家に、もっともらしい誤情報を提供することを目的としている。
しかし、Twitterのような大規模情報ソースから直接、チェック価値のあるクレームを効率的に検出する方法は、まだ解明されていない。
我々は、クエリベースの大規模チェックアワークレーム検出のための矛盾するスタンスマイニングを含む、複数回答のオープンドメイン質問応答(QA)タスクであるMythQAを紹介する。
論文 参考訳(メタデータ) (2023-07-21T18:35:24Z) - Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。
我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。
これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
論文 参考訳(メタデータ) (2022-05-14T00:40:57Z) - DialFact: A Benchmark for Fact-Checking in Dialogue [56.63709206232572]
われわれはDialFactという22,245の注釈付き会話クレームのベンチマークデータセットを構築し、ウィキペディアの証拠と組み合わせた。
FEVERのような非対話データでトレーニングされた既存のファクトチェックモデルは、我々のタスクでうまく機能しないことがわかった。
本稿では,対話におけるファクトチェック性能を効果的に向上する,シンプルなデータ効率のソリューションを提案する。
論文 参考訳(メタデータ) (2021-10-15T17:34:35Z) - FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。
我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
論文 参考訳(メタデータ) (2021-07-05T17:31:44Z) - That is a Known Lie: Detecting Previously Fact-Checked Claims [34.30218503006579]
多数の事実確認済みのクレームが蓄積されている。
政治家は、自分の好きな言葉、真実か偽かを繰り返し繰り返すのが好きだ。
この努力を節約し、すでに事実確認済みのクレームの無駄な時間を省くことが重要です。
論文 参考訳(メタデータ) (2020-05-12T21:25:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。