論文の概要: Overview of the CLEF--2021 CheckThat! Lab on Detecting Check-Worthy
Claims, Previously Fact-Checked Claims, and Fake News
- arxiv url: http://arxiv.org/abs/2109.12987v1
- Date: Thu, 23 Sep 2021 06:10:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-28 15:46:18.120501
- Title: Overview of the CLEF--2021 CheckThat! Lab on Detecting Check-Worthy
Claims, Previously Fact-Checked Claims, and Fake News
- Title（参考訳）: CLEF--2021 CheckThat!
検査価値のあるクレーム、以前に事実確認されたクレーム、偽ニュースを検出するラボ
- Authors: Preslav Nakov, Giovanni Da San Martino, Tamer Elsayed, Alberto
Barr\'on-Cede\~no, Rub\'en M\'iguez, Shaden Shaar, Firoj Alam, Fatima
Haouari, Maram Hasanain, Watheq Mansour, Bayan Hamdan, Zien Sheikh Ali,
Nikolay Babulkov, Alex Nikolov, Gautam Kishore Shahi, Julia Maria Stru{\ss},
Thomas Mandl, Mucahid Kutlu, Yavuz Selim Kartal
- Abstract要約: 第4回CheckThat! Lab, 2021 Conference and the Labs of the Evaluation Forum (CLEF)について述べる。
同研究所は、事実性に関連する技術支援タスクを評価し、アラビア語、ブルガリア語、英語、スペイン語、トルコ語をカバーしている。
- 参考スコア（独自算出の注目度）: 21.574997165145486
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We describe the fourth edition of the CheckThat! Lab, part of the 2021
Conference and Labs of the Evaluation Forum (CLEF). The lab evaluates
technology supporting tasks related to factuality, and covers Arabic,
Bulgarian, English, Spanish, and Turkish. Task 1 asks to predict which posts in
a Twitter stream are worth fact-checking, focusing on COVID-19 and politics (in
all five languages). Task 2 asks to determine whether a claim in a tweet can be
verified using a set of previously fact-checked claims (in Arabic and English).
Task 3 asks to predict the veracity of a news article and its topical domain
(in English). The evaluation is based on mean average precision or precision at
rank k for the ranking tasks, and macro-F1 for the classification tasks. This
was the most popular CLEF-2021 lab in terms of team registrations: 132 teams.
Nearly one-third of them participated: 15, 5, and 25 teams submitted official
runs for tasks 1, 2, and 3, respectively.
- Abstract（参考訳）: CheckThatの第4版について説明する。
labは2021年のカンファレンスの一部であり、評価フォーラム(clef)のラボでもある。
同研究所は、事実性に関連する技術支援タスクを評価し、アラビア語、ブルガリア語、英語、スペイン語、トルコ語をカバーしている。
タスク1は、Twitterストリーム内のどの投稿が事実チェックに値するかを予測し、新型コロナウイルスと政治(全5言語で)に焦点を当てる。
タスク2は、前の事実チェックされたクレーム(アラビア語と英語)を使って、ツイート中のクレームが検証できるかどうかを判断する。
タスク3は、ニュース記事とそのトピックドメイン(英語)の正確性を予測する。
評価は、ランキングタスクのランクkにおける平均精度または精度、分類タスクのマクロf1に基づいて行う。
これは最も人気のあるclef-2021ラボであり、チームの登録数は132チームであった。
参加者の3分の1近くが参加しており、それぞれ15チーム、5チーム、25チームがタスク1、2、3のオフィシャルランを行った。
関連論文リスト
- The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。
それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。
LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
論文 参考訳（メタデータ） (2024-01-01T14:02:27Z) - UrduFake@FIRE2021: Shared Track on Fake News Identification in Urdu [55.41644538483948]
本研究は、ウルドゥー語で偽ニュースを検出するために、UrduFake@FIRE2021と名付けられた2番目の共有タスクを報告した。
提案システムは、様々なカウントベースの特徴に基づいており、異なる分類器とニューラルネットワークアーキテクチャを使用していた。
勾配降下(SGD)アルゴリズムは他の分類器よりも優れ、0.679Fスコアを達成した。
論文 参考訳（メタデータ） (2022-07-11T19:15:04Z) - Overview of the Shared Task on Fake News Detection in Urdu at FIRE 2021 [55.41644538483948]
共有タスクの目標は、コミュニティにこの重要な問題を解決するための効率的な方法を考え出すことを動機付けることです。
トレーニングセットには1300件の注釈付きニュース記事、750件のリアルニュース、550件のフェイクニュース、300件のニュース記事、200件のリアルニュース、100件のフェイクニュースが含まれている。
F1-macroスコアは0.679で、これは過去最高の0.907 F1-macroよりも低かった。
論文 参考訳（メタデータ） (2022-07-11T18:58:36Z) - CHEF: A Pilot Chinese Dataset for Evidence-Based Fact-Checking [55.75590135151682]
CHEFは、10万件の現実世界のクレームに関する最初のChenese EvidenceベースのFact-checkingデータセットである。
このデータセットは、政治から公衆衛生まで、複数のドメインをカバーし、インターネットから取得した注釈付きの証拠を提供する。
論文 参考訳（メタデータ） (2022-06-06T09:11:03Z) - DialFact: A Benchmark for Fact-Checking in Dialogue [56.63709206232572]
われわれはDialFactという22,245の注釈付き会話クレームのベンチマークデータセットを構築し、ウィキペディアの証拠と組み合わせた。
FEVERのような非対話データでトレーニングされた既存のファクトチェックモデルは、我々のタスクでうまく機能しないことがわかった。
本稿では,対話におけるファクトチェック性能を効果的に向上する,シンプルなデータ効率のソリューションを提案する。
論文 参考訳（メタデータ） (2021-10-15T17:34:35Z) - Overview of the CLEF-2019 CheckThat!: Automatic Identification and
Verification of Claims [26.96108180116284]
CheckThat!ラボでは、英語とアラビア語の2つの異なる言語で2つのタスクをこなした。
Task 1の最も成功したアプローチは、さまざまなニューラルネットワークとロジスティック回帰を使用した。
ラーニング・トゥ・ランクは、サブタスクAの最高スコアランで使用された。
論文 参考訳（メタデータ） (2021-09-25T16:08:09Z) - Findings of the NLP4IF-2021 Shared Tasks on Fighting the COVID-19
Infodemic and Censorship Detection [23.280506220186425]
NLP4IF-2021共有タスクの結果を示す。
10チームがタスク1にシステムを提出し、1チームがタスク2に参加した。
最高のシステムは、事前訓練されたトランスフォーマーとアンサンブルを使用する。
論文 参考訳（メタデータ） (2021-09-23T06:38:03Z) - Accenture at CheckThat! 2020: If you say so: Post-hoc fact-checking of
claims using transformer-based models [0.0]
CLEF 2020 CheckThat! Lab, Task 1 on English and Arabic。
この共有タスクは、ソーシャルメディアテキストのクレームがプロとして事実チェックされるべきかどうかを評価する。
我々はBERTとRoBERTaモデルを用いて、プロのファクトチェッカーがレビューすべきソーシャルメディアテキストのクレームを特定した。
論文 参考訳（メタデータ） (2020-09-05T01:44:11Z) - Overview of CheckThat! 2020: Automatic Identification and Verification
of Claims in Social Media [26.60148306714383]
CLEF 2020にて,CheckThat! Labの第3版の概要を紹介する。
この研究室は英語とアラビア語の2つの異なる言語で5つのタスクをこなした。
本稿では,課題設定,評価結果,参加者が使用するアプローチの概要について述べる。
論文 参考訳（メタデータ） (2020-07-15T21:19:32Z) - TORQUE: A Reading Comprehension Dataset of Temporal Ordering Questions [91.85730323228833]
TORQUEは3.2kニュース上に構築された新しい英語読解ベンチマークで、時間的関係を問う質問を21kで生成する。
以上の結果から,RoBERTa-largeスニペットはTORQUEの試験セットで51%の精度で一致し,約30%が人体性能に遅れていることがわかった。
論文 参考訳（メタデータ） (2020-05-01T06:29:56Z) - CheckThat! at CLEF 2020: Enabling the Automatic Identification and
Verification of Claims in Social Media [28.070608555714752]
CheckThat!は4つの補完的なタスクと、以前のラボエディションからの関連するタスクを提案する。
評価は、ランキングタスクの平均平均精度またはランクkの精度、分類タスクのF1を用いて行われる。
論文 参考訳（メタデータ） (2020-01-21T06:47:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。