論文の概要: Show Me the Work: Fact-Checkers' Requirements for Explainable Automated Fact-Checking
- arxiv url: http://arxiv.org/abs/2502.09083v1
- Date: Thu, 13 Feb 2025 08:56:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-14 13:49:58.705647
- Title: Show Me the Work: Fact-Checkers' Requirements for Explainable Automated Fact-Checking
- Title(参考訳): Fact-Checkersによる説明可能なFact-Checkingの必要性
- Authors: Greta Warren, Irina Shklovski, Isabelle Augenstein,
- Abstract要約: オンラインメディアにおける大規模言語モデルと生成AIは、効果的な自動事実チェックの必要性を増幅している。
これらの説明が、ファクトチェッカーの意思決定と推論プロセスとどのように一致すべきかは不明だ。
- 参考スコア(独自算出の注目度): 43.300457630671154
- License:
- Abstract: The pervasiveness of large language models and generative AI in online media has amplified the need for effective automated fact-checking to assist fact-checkers in tackling the increasing volume and sophistication of misinformation. The complex nature of fact-checking demands that automated fact-checking systems provide explanations that enable fact-checkers to scrutinise their outputs. However, it is unclear how these explanations should align with the decision-making and reasoning processes of fact-checkers to be effectively integrated into their workflows. Through semi-structured interviews with fact-checking professionals, we bridge this gap by: (i) providing an account of how fact-checkers assess evidence, make decisions, and explain their processes; (ii) examining how fact-checkers use automated tools in practice; and (iii) identifying fact-checker explanation requirements for automated fact-checking tools. The findings show unmet explanation needs and identify important criteria for replicable fact-checking explanations that trace the model's reasoning path, reference specific evidence, and highlight uncertainty and information gaps.
- Abstract(参考訳): オンラインメディアにおける大規模言語モデルと生成AIの普及により、偽情報の量増加と洗練に対処するファクトチェックを支援する効果的な自動化されたファクトチェックの必要性が高まっている。
ファクトチェックの複雑な性質は、自動化されたファクトチェックシステムは、ファクトチェック者がアウトプットを精査できる説明を提供する。
しかし、これらの説明が、ファクトチェッカーの意思決定と推論プロセスとどのように一致して、ワークフローに効果的に統合されるべきかは不明である。
事実チェックの専門家との半構造化されたインタビューを通じて、このギャップを埋める。
一 事実検査者が証拠をどう評価し、決定し、その過程を説明するかの勘定
(二 ファクトチェッカーが自動化ツールを実際にどのように利用するかを検討すること。)
三 自動事実検査ツールのファクトチェッカー説明要件の特定。
この結果から,モデルの推論経路を辿り,具体的な証拠を参照し,不確実性や情報ギャップを浮き彫りにする,再現性のある事実チェック説明のための重要な基準を明らかにした。
関連論文リスト
- The Perils & Promises of Fact-checking with Large Language Models [55.869584426820715]
大規模言語モデル(LLM)は、学術論文、訴訟、ニュース記事を書くことをますます信頼されている。
語句検索,文脈データ検索,意思決定などにより,実検におけるLLMエージェントの使用状況を評価する。
本研究は, 文脈情報を用いたLLMの高度化を示すものである。
LLMは事実チェックにおいて有望であるが、不整合の正確性のため注意が必要である。
論文 参考訳(メタデータ) (2023-10-20T14:49:47Z) - Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for
Misinformation [67.69725605939315]
誤報は、信頼できる情報が限られている不確実な時に現れる。
NLPベースのファクトチェックは、まだ利用できないかもしれない反証拠に依存しているため、これは難しい。
論文 参考訳(メタデータ) (2022-10-25T09:40:48Z) - Synthetic Disinformation Attacks on Automated Fact Verification Systems [53.011635547834025]
本研究では,2つのシミュレーション環境において,自動ファクトチェッカーの合成正反対証拠に対する感度について検討する。
これらのシステムでは,これらの攻撃に対して大幅な性能低下がみられた。
偽情報の発生源としての現代のNLGシステムの脅威の増大について論じる。
論文 参考訳(メタデータ) (2022-02-18T19:01:01Z) - Automated Fact-Checking: A Survey [5.729426778193398]
自然言語処理(NLP)の分野の研究者は、ファクトチェックデータセットを構築することで、このタスクに貢献している。
本稿では,クレーム検出とクレーム検証の両方を対象とする自動ファクトチェックについて検討する。
論文 参考訳(メタデータ) (2021-09-23T15:13:48Z) - A Survey on Automated Fact-Checking [18.255327608480165]
本稿では,自然言語処理によるファクトチェックの自動化について検討し,関連する課題や規律との関係について考察する。
既存のデータセットとモデルを概観し、与えられた様々な定義を統一し、共通の概念を識別することを目的としている。
論文 参考訳(メタデータ) (2021-08-26T16:34:51Z) - FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。
我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
論文 参考訳(メタデータ) (2021-07-05T17:31:44Z) - Explainable Automated Fact-Checking: A Survey [11.529816799331979]
説明機能 – 予測の理由を提供するファクトチェックシステム – に重点を置いています。
ファクトチェックシステムの予測を説明する既存の手法を要約し、このトピックのトレンドを探る。
ファクトチェックの説明を生成するためのさらなる研究の方向性を提案し,これらが研究領域の改善に繋がる可能性について述べる。
論文 参考訳(メタデータ) (2020-11-07T23:56:02Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳(メタデータ) (2020-04-13T05:23:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。