論文の概要: Overview of CheckThat! 2020: Automatic Identification and Verification
of Claims in Social Media
- arxiv url: http://arxiv.org/abs/2007.07997v1
- Date: Wed, 15 Jul 2020 21:19:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 05:18:12.024511
- Title: Overview of CheckThat! 2020: Automatic Identification and Verification
of Claims in Social Media
- Title(参考訳): CheckThatの概観!
2020年:ソーシャルメディアにおけるクレームの自動識別と検証
- Authors: Alberto Barron-Cedeno, Tamer Elsayed, Preslav Nakov, Giovanni Da San
Martino, Maram Hasanain, Reem Suwaileh, Fatima Haouari, Nikolay Babulkov,
Bayan Hamdan, Alex Nikolov, Shaden Shaar, and Zien Sheikh Ali
- Abstract要約: CLEF 2020にて,CheckThat! Labの第3版の概要を紹介する。
この研究室は英語とアラビア語の2つの異なる言語で5つのタスクをこなした。
本稿では,課題設定,評価結果,参加者が使用するアプローチの概要について述べる。
- 参考スコア(独自算出の注目度): 26.60148306714383
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present an overview of the third edition of the CheckThat! Lab at CLEF
2020. The lab featured five tasks in two different languages: English and
Arabic. The first four tasks compose the full pipeline of claim verification in
social media: Task 1 on check-worthiness estimation, Task 2 on retrieving
previously fact-checked claims, Task 3 on evidence retrieval, and Task 4 on
claim verification. The lab is completed with Task 5 on check-worthiness
estimation in political debates and speeches. A total of 67 teams registered to
participate in the lab (up from 47 at CLEF 2019), and 23 of them actually
submitted runs (compared to 14 at CLEF 2019). Most teams used deep neural
networks based on BERT, LSTMs, or CNNs, and achieved sizable improvements over
the baselines on all tasks. Here we describe the tasks setup, the evaluation
results, and a summary of the approaches used by the participants, and we
discuss some lessons learned. Last but not least, we release to the research
community all datasets from the lab as well as the evaluation scripts, which
should enable further research in the important tasks of check-worthiness
estimation and automatic claim verification.
- Abstract(参考訳): 以下は、CheckThatの第3版の概要である。
CLEF 2020に参加。
研究室は英語とアラビア語の2つの異なる言語で5つのタスクを扱った。
最初の4つのタスクは、ソーシャルメディアにおけるクレーム検証の完全なパイプラインを構成する: チェック値推定のタスク1、以前に確認したクレームを検索するタスク2、証拠検索のタスク3、クレーム検証のタスク4。
ラボは、政治討論や演説におけるチェック評価に関するタスク5で完了する。
ラボに参加するために登録された合計67チーム(CLEF 2019の47チームから)、23チームが実際に実行を提出した(CLEF 2019の14チームまで)。
ほとんどのチームはBERT、LSTM、CNNをベースとしたディープニューラルネットワークを使用しており、すべてのタスクのベースラインを大きく改善した。
本稿では,課題の設定,評価結果,参加者が使用するアプローチの概要について述べ,そこから得られた教訓について考察する。
最後に、我々は研究室のすべてのデータセットと評価スクリプトを研究コミュニティにリリースし、チェックの安全性評価と自動クレーム検証の重要なタスクについてさらなる研究を可能にする。
関連論文リスト
- ArAIEval Shared Task: Persuasion Techniques and Disinformation Detection
in Arabic Text [41.3267575540348]
本稿では, EMNLP 2023と共同で開催される第1回アラビア2023会議の一環として組織されたArAIEval共有タスクの概要を紹介する。
ArAIEvalは、アラビア文字上の2つのタスクを提供する: (i) 説得テクニックの検出、ツイートやニュース記事における説得テクニックの識別、および (ii) ツイート上のバイナリとマルチクラスの設定における偽情報検出。
最終評価フェーズには合計20チームが参加し、タスク1と2には14チームと16チームが参加した。
論文 参考訳(メタデータ) (2023-11-06T15:21:19Z) - SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding
Tasks [88.4408774253634]
音声言語理解(SLU)タスクは、音声研究コミュニティで何十年にもわたって研究されてきた。
SLUタスクベンチマークはそれほど多くはなく、既存のベンチマークの多くは、すべての研究者が自由に利用できないデータを使っている。
最近の研究は、いくつかのタスクにそのようなベンチマークを導入し始めている。
論文 参考訳(メタデータ) (2022-12-20T18:39:59Z) - Lila: A Unified Benchmark for Mathematical Reasoning [59.97570380432861]
LILAは、23の多様なタスクと4次元からなる統一的な数学的推論ベンチマークである。
我々は,Pythonプログラムの形式でタスク命令とソリューションを収集することにより,20のデータセットベンチマークを拡張してベンチマークを構築した。
LILAで訓練された汎用数学的推論モデルであるBHASKARAを紹介する。
論文 参考訳(メタデータ) (2022-10-31T17:41:26Z) - Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。
タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。
我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文 参考訳(メタデータ) (2022-10-12T15:02:04Z) - FETA: A Benchmark for Few-Sample Task Transfer in Open-Domain Dialogue [70.65782786401257]
本研究は、オープンドメイン対話における少数サンプルタスク転送のベンチマークであるFETAを導入することにより、対話型タスク転送について検討する。
FETAには10タスクと7タスクがアノテートされた2つの基礎的な会話が含まれており、データセット内タスク転送の研究を可能にする。
3つの人気のある言語モデルと3つの学習アルゴリズムを用いて、132のソースターゲットタスクペア間の転送可能性を分析する。
論文 参考訳(メタデータ) (2022-05-12T17:59:00Z) - Overview of the CLEF-2019 CheckThat!: Automatic Identification and
Verification of Claims [26.96108180116284]
CheckThat!ラボでは、英語とアラビア語の2つの異なる言語で2つのタスクをこなした。
Task 1の最も成功したアプローチは、さまざまなニューラルネットワークとロジスティック回帰を使用した。
ラーニング・トゥ・ランクは、サブタスクAの最高スコアランで使用された。
論文 参考訳(メタデータ) (2021-09-25T16:08:09Z) - Overview of the CLEF--2021 CheckThat! Lab on Detecting Check-Worthy
Claims, Previously Fact-Checked Claims, and Fake News [21.574997165145486]
第4回CheckThat! Lab, 2021 Conference and the Labs of the Evaluation Forum (CLEF)について述べる。
同研究所は、事実性に関連する技術支援タスクを評価し、アラビア語、ブルガリア語、英語、スペイン語、トルコ語をカバーしている。
論文 参考訳(メタデータ) (2021-09-23T06:10:36Z) - ASVspoof 2021: accelerating progress in spoofed and deepfake speech
detection [70.45884214674057]
ASVspoof 2021は、スプーフの研究を促進するための2年制の課題の第4版である。
本稿では,3つのタスク,それぞれのデータベース,評価基準,4つの課題ベースライン,評価プラットフォーム,課題結果の要約について述べる。
論文 参考訳(メタデータ) (2021-09-01T16:17:31Z) - Overview of CLEF 2019 Lab ProtestNews: Extracting Protests from News in
a Cross-context Setting [3.5132824436572685]
研究室は文書、文、トークンレベルの情報分類と抽出タスクで構成されている。
トレーニングと開発データはインドから収集され、テストデータはインドと中国から収集された。
我々は、ニューラルネットワークが最良の結果をもたらすのを観察し、クロスカントリー設定におけるほとんどの投稿に対して、性能が大幅に低下するのを観察した。
論文 参考訳(メタデータ) (2020-08-01T21:39:54Z) - Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
本研究では,33のNLPタスク間の伝達可能性について検討した。
以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。
また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
論文 参考訳(メタデータ) (2020-05-02T09:39:36Z) - CheckThat! at CLEF 2020: Enabling the Automatic Identification and
Verification of Claims in Social Media [28.070608555714752]
CheckThat!は4つの補完的なタスクと、以前のラボエディションからの関連するタスクを提案する。
評価は、ランキングタスクの平均平均精度またはランクkの精度、分類タスクのF1を用いて行われる。
論文 参考訳(メタデータ) (2020-01-21T06:47:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。