論文の概要: The CLEF-2025 CheckThat! Lab: Subjectivity, Fact-Checking, Claim Normalization, and Retrieval
- arxiv url: http://arxiv.org/abs/2503.14828v1
- Date: Wed, 19 Mar 2025 02:06:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-20 15:25:51.424589
- Title: The CLEF-2025 CheckThat! Lab: Subjectivity, Fact-Checking, Claim Normalization, and Retrieval
- Title（参考訳）: CLEF-2025 CheckThat! Lab: Subjectivity, Fact-Checking, Claim Normalization, Retrieval
- Authors: Firoj Alam, Julia Maria Struß, Tanmoy Chakraborty, Stefan Dietze, Salim Hafid, Katerina Korre, Arianna Muti, Preslav Nakov, Federico Ruggeri, Sebastian Schellhammer, Vinay Setty, Megha Sundriyal, Konstantin Todorov, Venktesh V,
- Abstract要約: CheckThat! Labは、オンラインの偽情報の特定と対策を目的とした技術の開発を進めることを目指している。
2023年版以降、研究と検証の意思決定を支援する補助的なタスクに対処する範囲を拡大した。
2025年版では、コア検証タスクを見直し、補助的な課題も検討している。
- 参考スコア（独自算出の注目度）: 47.46368856874347
- License:
- Abstract: The CheckThat! lab aims to advance the development of innovative technologies designed to identify and counteract online disinformation and manipulation efforts across various languages and platforms. The first five editions focused on key tasks in the information verification pipeline, including check-worthiness, evidence retrieval and pairing, and verification. Since the 2023 edition, the lab has expanded its scope to address auxiliary tasks that support research and decision-making in verification. In the 2025 edition, the lab revisits core verification tasks while also considering auxiliary challenges. Task 1 focuses on the identification of subjectivity (a follow-up from CheckThat! 2024), Task 2 addresses claim normalization, Task 3 targets fact-checking numerical claims, and Task 4 explores scientific web discourse processing. These tasks present challenging classification and retrieval problems at both the document and span levels, including multilingual settings.
- Abstract（参考訳）: CheckThat!ラボは、さまざまな言語やプラットフォームでオンラインの偽情報や操作を識別し、対処するために設計された革新的な技術の開発を進めることを目的としている。
最初の5つのエディションは、チェックの信頼性、エビデンス検索とペアリング、検証など、情報検証パイプラインにおける重要なタスクに焦点を当てていた。
2023年版以降、研究と検証の意思決定を支援する補助的なタスクに対処する範囲を拡大した。
2025年版では、コア検証タスクを見直し、補助的な課題も検討している。
第1タスクは主観性の識別(チェックタットのフォローアップ)、第2タスクは要求正規化、第3タスクは事実確認数値クレーム、第4タスクは科学的ウェブ談話処理を探索する。
これらのタスクは、多言語設定を含む文書レベルとスパンレベルの両方において、困難な分類と検索の問題を示す。
関連論文リスト
- SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。
本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。
我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
論文 参考訳（メタデータ） (2024-09-11T17:37:48Z) - V3Det Challenge 2024 on Vast Vocabulary and Open Vocabulary Object Detection: Methods and Results [142.5704093410454]
V3Det Challenge 2024は、オブジェクト検出研究の境界を推し進めることを目的としている。
Vast Vocabulary Object DetectionとOpen Vocabulary Object Detectionの2つのトラックで構成されている。
我々は,広い語彙とオープン語彙のオブジェクト検出において,今後の研究の方向性を刺激することを目指している。
論文 参考訳（メタデータ） (2024-06-17T16:58:51Z) - Perception Test 2023: A Summary of the First Challenge And Outcome [67.0525378209708]
最初のパーセプションテストは、IEEE/CVF International Conference on Computer Vision (ICCV) 2023と共に半日間のワークショップとして開催された。
目標は、最近提案されたPerception Testベンチマークで最先端のビデオモデルをベンチマークすることであった。
このレポートでは、タスク記述、メトリクス、ベースライン、結果について要約しています。
論文 参考訳（メタデータ） (2023-12-20T15:12:27Z) - Check-worthy Claim Detection across Topics for Automated Fact-checking [21.723689314962233]
我々は、新しい、目に見えないトピックのチェック価値のあるクレームを検出するという課題を評価し、定量化する。
AraCWAモデルを提案し,トピック間のチェック値のクレームを検出する際の性能劣化を緩和する。
論文 参考訳（メタデータ） (2022-12-16T14:54:56Z) - Multimedia Generative Script Learning for Task Planning [58.73725388387305]
我々は,テキストと視覚の両モードの履歴状態を追跡することによって,次のステップを生成するために,マルチメディア生成スクリプト学習という新しいタスクを提案する。
この課題は、画像中の視覚状態をキャプチャするマルチメディアチャレンジ、目に見えないタスクを実行するための誘導チャレンジ、個々のステップで異なる情報をカバーする多様性チャレンジの3つの側面において難しい。
実験の結果,本手法は強いベースラインを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2022-08-25T19:04:28Z) - DialFact: A Benchmark for Fact-Checking in Dialogue [56.63709206232572]
われわれはDialFactという22,245の注釈付き会話クレームのベンチマークデータセットを構築し、ウィキペディアの証拠と組み合わせた。
FEVERのような非対話データでトレーニングされた既存のファクトチェックモデルは、我々のタスクでうまく機能しないことがわかった。
本稿では,対話におけるファクトチェック性能を効果的に向上する,シンプルなデータ効率のソリューションを提案する。
論文 参考訳（メタデータ） (2021-10-15T17:34:35Z) - UPV at CheckThat! 2021: Mitigating Cultural Differences for Identifying
Multilingual Check-worthy Claims [6.167830237917659]
本稿では,意図しないバイアスを軽減するための補助課題として,言語識別タスクを提案する。
その結果,言語識別とチェックアワーなクレーム検出タスクを併用することで,選択した言語の性能向上が期待できることがわかった。
論文 参考訳（メタデータ） (2021-09-19T21:46:16Z) - Overview and Insights from the SciVer Shared Task on Scientific Claim
Verification [5.78530472626281]
NAACL 2021 の第2回 Scholarly Document Processing (SDP) ワークショップで提示された SciVer 共有タスクの概要を紹介する。
11チームが合計14回のタスクリーダボードへの提出を行い、主要なタスク評価基準で+23 F1以上の改善を実現した。
論文 参考訳（メタデータ） (2021-07-17T05:47:57Z) - A Review on Fact Extraction and Verification [19.373340472113703]
本研究では,あるクレームの正当性を特定することを目的とした事実チェック問題について検討する。
我々は、Fact extract and verification(FEVER)タスクとそれに伴うデータセットに焦点を当てる。
このタスクは必須であり、偽ニュースの検出や医療クレームの検証といったアプリケーションの構築ブロックになる可能性がある。
論文 参考訳（メタデータ） (2020-10-06T20:05:43Z) - Overview of CheckThat! 2020: Automatic Identification and Verification
of Claims in Social Media [26.60148306714383]
CLEF 2020にて,CheckThat! Labの第3版の概要を紹介する。
この研究室は英語とアラビア語の2つの異なる言語で5つのタスクをこなした。
本稿では,課題設定,評価結果,参加者が使用するアプローチの概要について述べる。
論文 参考訳（メタデータ） (2020-07-15T21:19:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。