論文の概要: The Case for Claim Difficulty Assessment in Automatic Fact Checking
- arxiv url: http://arxiv.org/abs/2109.09689v1
- Date: Mon, 20 Sep 2021 16:59:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-21 19:34:34.253710
- Title: The Case for Claim Difficulty Assessment in Automatic Fact Checking
- Title(参考訳): 自動事実チェックにおけるクレーム難易度評価の事例
- Authors: Prakhar Singh and Anubrata Das and Junyi Jessy Li and Matthew Lease
- Abstract要約: クレームの難しさの予測は、今日の自動化されたファクトチェックアーキテクチャの欠如要素である、と我々は主張する。
本稿では,この難易度予測タスクを,一組の異なるサブタスクに分割する方法について述べる。
- 参考スコア(独自算出の注目度): 18.230039157836888
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fact-checking is the process (human, automated, or hybrid) by which claims
(i.e., purported facts) are evaluated for veracity. In this article, we raise
an issue that has received little attention in prior work - that some claims
are far more difficult to fact-check than others. We discuss the implications
this has for both practical fact-checking and research on automated
fact-checking, including task formulation and dataset design. We report a
manual analysis undertaken to explore factors underlying varying claim
difficulty and categorize several distinct types of difficulty. We argue that
prediction of claim difficulty is a missing component of today's automated
fact-checking architectures, and we describe how this difficulty prediction
task might be split into a set of distinct subtasks.
- Abstract(参考訳): ファクトチェック(英: fact-checking)とは、クレーム(すなわち事実)が検証性によって評価されるプロセス(人間、自動化、ハイブリッド)である。
この記事では、以前の作業でほとんど注目を集めていない問題を挙げます。いくつかの主張は、他のものよりも事実チェックがはるかに難しいものです。
タスクの定式化やデータセット設計を含む,ファクトチェックの実践と自動ファクトチェックの研究の両方において,これがもたらす意味について論じる。
本報告では,請求の難易度を規定する要因について手動で分析し,異なる種類の難易度を分類する。
クレームの難しさの予測は、今日の自動化されたファクトチェックアーキテクチャの欠如要素であり、この難易度予測タスクが、どのようにして異なるサブタスクに分割されるかを説明する。
関連論文リスト
- Automated Justification Production for Claim Veracity in Fact Checking: A Survey on Architectures and Approaches [2.0140898354987353]
AFC(Automated Fact-Checking)は、クレーム精度の自動検証である。
AFCは、特に大量のコンテンツが毎日オンラインで生成されることを考えると、誤報から真実を識別するために不可欠である。
現在の研究は、メタデータ分析と言語精査を通してクレームの正確性を予測することに焦点を当てている。
論文 参考訳(メタデータ) (2024-07-09T01:54:13Z) - How We Refute Claims: Automatic Fact-Checking through Flaw
Identification and Explanation [4.376598435975689]
本稿では、アスペクト生成や欠陥識別を含む、欠陥指向の事実チェックの新たな課題について検討する。
また、このタスク用に特別に設計された新しいフレームワークであるRefuteClaimを紹介します。
既存のデータセットが存在しないことから、専門家のレビューから洞察を抽出して変換して、関連する側面に変換し、欠陥を特定したデータセットであるFlawCheckを紹介します。
論文 参考訳(メタデータ) (2024-01-27T06:06:16Z) - Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。
我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。
これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
論文 参考訳(メタデータ) (2022-05-14T00:40:57Z) - DialFact: A Benchmark for Fact-Checking in Dialogue [56.63709206232572]
われわれはDialFactという22,245の注釈付き会話クレームのベンチマークデータセットを構築し、ウィキペディアの証拠と組み合わせた。
FEVERのような非対話データでトレーニングされた既存のファクトチェックモデルは、我々のタスクでうまく機能しないことがわかった。
本稿では,対話におけるファクトチェック性能を効果的に向上する,シンプルなデータ効率のソリューションを提案する。
論文 参考訳(メタデータ) (2021-10-15T17:34:35Z) - A Survey on Automated Fact-Checking [18.255327608480165]
本稿では,自然言語処理によるファクトチェックの自動化について検討し,関連する課題や規律との関係について考察する。
既存のデータセットとモデルを概観し、与えられた様々な定義を統一し、共通の概念を識別することを目的としている。
論文 参考訳(メタデータ) (2021-08-26T16:34:51Z) - FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。
我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
論文 参考訳(メタデータ) (2021-07-05T17:31:44Z) - Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。
人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
論文 参考訳(メタデータ) (2021-04-17T21:34:10Z) - A Review on Fact Extraction and Verification [19.373340472113703]
本研究では,あるクレームの正当性を特定することを目的とした事実チェック問題について検討する。
我々は、Fact extract and verification(FEVER)タスクとそれに伴うデータセットに焦点を当てる。
このタスクは必須であり、偽ニュースの検出や医療クレームの検証といったアプリケーションの構築ブロックになる可能性がある。
論文 参考訳(メタデータ) (2020-10-06T20:05:43Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳(メタデータ) (2020-04-13T05:23:25Z) - Claim Check-Worthiness Detection as Positive Unlabelled Learning [53.24606510691877]
クレームチェックの信頼性検出はファクトチェックシステムにおいて重要な要素である。
これらの課題の根底にあるクレームチェックの信頼性検出における中心的な課題を照明する。
我々の最良の手法は、正の非競合学習の変種を用いて、これを自動的に修正する統一的なアプローチである。
論文 参考訳(メタデータ) (2020-03-05T16:06:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。