論文の概要: Checkworthiness in Automatic Claim Detection Models: Definitions and
Analysis of Datasets
- arxiv url: http://arxiv.org/abs/2008.08854v1
- Date: Thu, 20 Aug 2020 09:30:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 03:33:20.758404
- Title: Checkworthiness in Automatic Claim Detection Models: Definitions and
Analysis of Datasets
- Title(参考訳): 自動クレーム検出モデルの保守性:データセットの定義と分析
- Authors: Liesbeth Allein and Marie-Francine Moens
- Abstract要約: ファクトチェッカーのチェックハーネスの定義と特徴についてはほとんど合意がない。
正当性は、正確性と文脈に依存した価値を持つという概念として定義される。
データは高度に不均衡で騒々しいだけでなく、スコープや言語にも制限されている、と論じられている。
- 参考スコア(独自算出の注目度): 18.20319269401045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Public, professional and academic interest in automated fact-checking has
drastically increased over the past decade, with many aiming to automate one of
the first steps in a fact-check procedure: the selection of so-called
checkworthy claims. However, there is little agreement on the definition and
characteristics of checkworthiness among fact-checkers, which is consequently
reflected in the datasets used for training and testing checkworthy claim
detection models. After elaborate analysis of checkworthy claim selection
procedures in fact-check organisations and analysis of state-of-the-art claim
detection datasets, checkworthiness is defined as the concept of having a
spatiotemporal and context-dependent worth and need to have the correctness of
the objectivity it conveys verified. This is irrespective of the claim's
perceived veracity judgement by an individual based on prior knowledge and
beliefs. Concerning the characteristics of current datasets, it is argued that
the data is not only highly imbalanced and noisy, but also too limited in scope
and language. Furthermore, we believe that the subjective concept of
checkworthiness might not be a suitable filter for claim detection.
- Abstract(参考訳): ファクトチェック手続きの最初のステップの1つ、いわゆるチェック価値クレームの選択を自動化しようとする多くの人が、過去10年間で、ファクトチェック自動化に対するパブリック、プロフェッショナル、アカデミックの関心が大幅に高まっている。
しかし、ファクトチェッカにおけるチェック適性の定義と特性についてはほとんど一致せず、結果として、チェック適性クレーム検出モデルのトレーニングとテストに使用されるデータセットに反映される。
事実確認組織におけるチェック価値のあるクレーム選択手順の精巧な分析と最先端クレーム検出データセットの分析の後、チェックハーネスは時空間的および文脈に依存した価値を持ち、それが伝達する客観性の正しさを持つという概念として定義される。
これは、先行知識と信念に基づく個人による主張の正当性判断とは無関係である。
現在のデータセットの特徴については、データは高度に不均衡で騒がしいだけでなく、スコープや言語が制限されすぎていると論じられている。
さらに, 主観的な正当性の概念は, クレーム検出に適したフィルタではないと考えられる。
関連論文リスト
- Balancing Fairness and Accuracy in Data-Restricted Binary Classification [14.439413517433891]
本稿では,4つの実践シナリオ下での精度と公平性のトレードオフをモデル化する枠組みを提案する。
3つのデータセットの実験では、トレードオフを定量化するためのツールとして提案されたフレームワークの有用性が示されている。
論文 参考訳(メタデータ) (2024-03-12T15:01:27Z) - AFaCTA: Assisting the Annotation of Factual Claim Detection with
Reliable LLM Annotators [40.81978676612458]
AFaCTAは、事実主張のアノテーションを支援する新しいフレームワークである。
AFaCTAは、3つの事前定義された推論経路に沿って、アノテーションの信頼度を一貫性で調整する。
PoliClaimは、さまざまな政治的トピックにまたがる包括的なクレーム検出データセットである。
論文 参考訳(メタデータ) (2024-02-16T20:59:57Z) - Simultaneous Improvement of ML Model Fairness and Performance by
Identifying Bias in Data [1.76179873429447]
トレーニング前にデータセットから削除すべき特定の種類のバイアスを記述したインスタンスを検出できるデータ前処理手法を提案する。
特に、類似した特徴を持つインスタンスが存在するが、保護属性の変動に起因するラベルが異なる問題設定では、固有のバイアスがデータセット内で引き起こされる、と主張する。
論文 参考訳(メタデータ) (2022-10-24T13:04:07Z) - A Review of Uncertainty Calibration in Pretrained Object Detectors [5.440028715314566]
多クラス設定における事前訓練対象検出アーキテクチャの不確実性校正特性について検討する。
公平でバイアスのない,繰り返し可能な評価を実現するためのフレームワークを提案する。
検出器のキャリブレーションが低い理由について、新しい知見を提供する。
論文 参考訳(メタデータ) (2022-10-06T14:06:36Z) - Data-SUITE: Data-centric identification of in-distribution incongruous
examples [81.21462458089142]
Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。
我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
論文 参考訳(メタデータ) (2022-02-17T18:58:31Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳(メタデータ) (2022-02-08T02:59:12Z) - Tradeoffs in Streaming Binary Classification under Limited Inspection
Resources [14.178224954581069]
イベントが順次到着し,疑わしいイベントの数が限られている,不均衡なバイナリ分類問題を考える。
マイノリティクラス検出率と検査能力のトレードオフを解析的に特徴付ける。
本研究では,実際の不正検出データセット上での選択手法を実装し,実験結果と解析的境界を比較検討する。
論文 参考訳(メタデータ) (2021-10-05T23:23:11Z) - CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。
本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。
私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
論文 参考訳(メタデータ) (2021-10-04T17:59:31Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳(メタデータ) (2020-06-10T20:20:10Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳(メタデータ) (2020-04-13T05:23:25Z) - Claim Check-Worthiness Detection as Positive Unlabelled Learning [53.24606510691877]
クレームチェックの信頼性検出はファクトチェックシステムにおいて重要な要素である。
これらの課題の根底にあるクレームチェックの信頼性検出における中心的な課題を照明する。
我々の最良の手法は、正の非競合学習の変種を用いて、これを自動的に修正する統一的なアプローチである。
論文 参考訳(メタデータ) (2020-03-05T16:06:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。