論文の概要: Overview of CheckThat! 2020: Automatic Identification and Verification
of Claims in Social Media
- arxiv url: http://arxiv.org/abs/2007.07997v1
- Date: Wed, 15 Jul 2020 21:19:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 05:18:12.024511
- Title: Overview of CheckThat! 2020: Automatic Identification and Verification
of Claims in Social Media
- Title（参考訳）: CheckThatの概観!
2020年:ソーシャルメディアにおけるクレームの自動識別と検証
- Authors: Alberto Barron-Cedeno, Tamer Elsayed, Preslav Nakov, Giovanni Da San
Martino, Maram Hasanain, Reem Suwaileh, Fatima Haouari, Nikolay Babulkov,
Bayan Hamdan, Alex Nikolov, Shaden Shaar, and Zien Sheikh Ali
- Abstract要約: CLEF 2020にて,CheckThat! Labの第3版の概要を紹介する。
この研究室は英語とアラビア語の2つの異なる言語で5つのタスクをこなした。
本稿では,課題設定,評価結果,参加者が使用するアプローチの概要について述べる。
- 参考スコア（独自算出の注目度）: 26.60148306714383
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present an overview of the third edition of the CheckThat! Lab at CLEF
2020. The lab featured five tasks in two different languages: English and
Arabic. The first four tasks compose the full pipeline of claim verification in
social media: Task 1 on check-worthiness estimation, Task 2 on retrieving
previously fact-checked claims, Task 3 on evidence retrieval, and Task 4 on
claim verification. The lab is completed with Task 5 on check-worthiness
estimation in political debates and speeches. A total of 67 teams registered to
participate in the lab (up from 47 at CLEF 2019), and 23 of them actually
submitted runs (compared to 14 at CLEF 2019). Most teams used deep neural
networks based on BERT, LSTMs, or CNNs, and achieved sizable improvements over
the baselines on all tasks. Here we describe the tasks setup, the evaluation
results, and a summary of the approaches used by the participants, and we
discuss some lessons learned. Last but not least, we release to the research
community all datasets from the lab as well as the evaluation scripts, which
should enable further research in the important tasks of check-worthiness
estimation and automatic claim verification.
- Abstract（参考訳）: 以下は、CheckThatの第3版の概要である。
CLEF 2020に参加。
研究室は英語とアラビア語の2つの異なる言語で5つのタスクを扱った。
最初の4つのタスクは、ソーシャルメディアにおけるクレーム検証の完全なパイプラインを構成する: チェック値推定のタスク1、以前に確認したクレームを検索するタスク2、証拠検索のタスク3、クレーム検証のタスク4。
ラボは、政治討論や演説におけるチェック評価に関するタスク5で完了する。
ラボに参加するために登録された合計67チーム(CLEF 2019の47チームから)、23チームが実際に実行を提出した(CLEF 2019の14チームまで)。
ほとんどのチームはBERT、LSTM、CNNをベースとしたディープニューラルネットワークを使用しており、すべてのタスクのベースラインを大きく改善した。
本稿では,課題の設定,評価結果,参加者が使用するアプローチの概要について述べ,そこから得られた教訓について考察する。
最後に、我々は研究室のすべてのデータセットと評価スクリプトを研究コミュニティにリリースし、チェックの安全性評価と自動クレーム検証の重要なタスクについてさらなる研究を可能にする。
関連論文リスト
- GenAI Content Detection Task 1: English and Multilingual Machine-Generated Text Detection: AI vs. Human [71.42669028683741]
我々は,Coling 2025におけるGenAIワークショップの一環として,バイナリマシン生成テキスト検出における共有タスクを提案する。
このタスクは、モノリンガル(英: Monolingual)とマルチリンガル(英: Multilingual)の2つのサブタスクから構成される。
本稿では,データの包括的概要,結果の概要,参加システムの詳細な説明,提出内容の詳細な分析について述べる。
論文 参考訳（メタデータ） (2025-01-19T11:11:55Z) - VLABench: A Large-Scale Benchmark for Language-Conditioned Robotics Manipulation with Long-Horizon Reasoning Tasks [100.3234156027118]
本稿では、ユニバーサルLCMタスク学習を評価するためのオープンソースのベンチマークであるVLABenchを紹介する。
VLABenchは、タスクのカテゴリごとに強いランダム化と合計2000以上のオブジェクトを備えた、慎重に設計された100のタスクカテゴリを提供する。
このベンチマークは、メッシュとテクスチャ、空間関係、意味的命令、物理法則、知識伝達、推論の理解を含む複数の能力を評価する。
論文 参考訳（メタデータ） (2024-12-24T06:03:42Z) - MMAU: A Holistic Benchmark of Agent Capabilities Across Diverse Domains [54.117238759317004]
大規模マルチタスクエージェント理解(MMAU)ベンチマークは、複雑な環境設定を必要としない包括的なオフラインタスクを特徴としている。
ツールユース、DAG(Directed Acyclic Graph)QA、データサイエンスと機械学習コーディング、コンテストレベルのプログラミング、数学の5分野にわたるモデルを評価する。
3K以上の異なるプロンプトを含む20の精巧に設計されたタスクにより、MMAUはLLMエージェントの強度と限界を評価するための包括的なフレームワークを提供する。
論文 参考訳（メタデータ） (2024-07-18T00:58:41Z) - FactFinders at CheckThat! 2024: Refining Check-worthy Statement Detection with LLMs through Data Pruning [43.82613670331329]
本研究では,オープンソースの言語モデルを用いて,政治的書き起こしからチェックにふさわしい文章を識別する手法について検討する。
本稿では,高品質なトレーニングデータインスタンスを自動的に同定し,効果的な学習を行うための2段階のデータ解析手法を提案する。
私たちのチームは英語のチェック・マインドネス・タスクで1位にランクインした。
論文 参考訳（メタデータ） (2024-06-26T12:31:31Z) - SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding
Tasks [88.4408774253634]
音声言語理解(SLU)タスクは、音声研究コミュニティで何十年にもわたって研究されてきた。
SLUタスクベンチマークはそれほど多くはなく、既存のベンチマークの多くは、すべての研究者が自由に利用できないデータを使っている。
最近の研究は、いくつかのタスクにそのようなベンチマークを導入し始めている。
論文 参考訳（メタデータ） (2022-12-20T18:39:59Z) - FETA: A Benchmark for Few-Sample Task Transfer in Open-Domain Dialogue [70.65782786401257]
本研究は、オープンドメイン対話における少数サンプルタスク転送のベンチマークであるFETAを導入することにより、対話型タスク転送について検討する。
FETAには10タスクと7タスクがアノテートされた2つの基礎的な会話が含まれており、データセット内タスク転送の研究を可能にする。
3つの人気のある言語モデルと3つの学習アルゴリズムを用いて、132のソースターゲットタスクペア間の転送可能性を分析する。
論文 参考訳（メタデータ） (2022-05-12T17:59:00Z) - Overview of the CLEF-2019 CheckThat!: Automatic Identification and
Verification of Claims [26.96108180116284]
CheckThat!ラボでは、英語とアラビア語の2つの異なる言語で2つのタスクをこなした。
Task 1の最も成功したアプローチは、さまざまなニューラルネットワークとロジスティック回帰を使用した。
ラーニング・トゥ・ランクは、サブタスクAの最高スコアランで使用された。
論文 参考訳（メタデータ） (2021-09-25T16:08:09Z) - Overview of the CLEF--2021 CheckThat! Lab on Detecting Check-Worthy
Claims, Previously Fact-Checked Claims, and Fake News [21.574997165145486]
第4回CheckThat! Lab, 2021 Conference and the Labs of the Evaluation Forum (CLEF)について述べる。
同研究所は、事実性に関連する技術支援タスクを評価し、アラビア語、ブルガリア語、英語、スペイン語、トルコ語をカバーしている。
論文 参考訳（メタデータ） (2021-09-23T06:10:36Z) - ASVspoof 2021: accelerating progress in spoofed and deepfake speech
detection [70.45884214674057]
ASVspoof 2021は、スプーフの研究を促進するための2年制の課題の第4版である。
本稿では,3つのタスク,それぞれのデータベース,評価基準,4つの課題ベースライン,評価プラットフォーム,課題結果の要約について述べる。
論文 参考訳（メタデータ） (2021-09-01T16:17:31Z) - Overview of CLEF 2019 Lab ProtestNews: Extracting Protests from News in
a Cross-context Setting [3.5132824436572685]
研究室は文書、文、トークンレベルの情報分類と抽出タスクで構成されている。
トレーニングと開発データはインドから収集され、テストデータはインドと中国から収集された。
我々は、ニューラルネットワークが最良の結果をもたらすのを観察し、クロスカントリー設定におけるほとんどの投稿に対して、性能が大幅に低下するのを観察した。
論文 参考訳（メタデータ） (2020-08-01T21:39:54Z) - CheckThat! at CLEF 2020: Enabling the Automatic Identification and
Verification of Claims in Social Media [28.070608555714752]
CheckThat!は4つの補完的なタスクと、以前のラボエディションからの関連するタスクを提案する。
評価は、ランキングタスクの平均平均精度またはランクkの精度、分類タスクのF1を用いて行われる。
論文 参考訳（メタデータ） (2020-01-21T06:47:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。