論文の概要: The Automated Verification of Textual Claims (AVeriTeC) Shared Task
- arxiv url: http://arxiv.org/abs/2410.23850v1
- Date: Thu, 31 Oct 2024 12:01:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-01 17:02:13.895418
- Title: The Automated Verification of Textual Claims (AVeriTeC) Shared Task
- Title（参考訳）: テキストクレーム(AVeriTeC)共有タスクの自動検証
- Authors: Michael Schlichtkrull, Yulong Chen, Chenxi Whitehouse, Zhenyun Deng, Mubashara Akhtar, Rami Aly, Zhijiang Guo, Christos Christodoulopoulos, Oana Cocarascu, Arpit Mittal, James Thorne, Andreas Vlachos,
- Abstract要約: 共有されたタスクは、参加者に証拠を回収し、ファクトチェッカーによってチェックされた現実世界のクレームの正確性を予測するよう依頼した。
証拠は検索エンジン経由で、またはオーガナイザが提供する知識ストア経由で見つけることができる。
優勝チームはTUDA_MAIで、AVeriTeCスコアは63%だった。
- 参考スコア（独自算出の注目度）: 29.535143881116472
- License:
- Abstract: The Automated Verification of Textual Claims (AVeriTeC) shared task asks participants to retrieve evidence and predict veracity for real-world claims checked by fact-checkers. Evidence can be found either via a search engine, or via a knowledge store provided by the organisers. Submissions are evaluated using AVeriTeC score, which considers a claim to be accurately verified if and only if both the verdict is correct and retrieved evidence is considered to meet a certain quality threshold. The shared task received 21 submissions, 18 of which surpassed our baseline. The winning team was TUDA_MAI with an AVeriTeC score of 63%. In this paper we describe the shared task, present the full results, and highlight key takeaways from the shared task.
- Abstract（参考訳）: The Automated Verification of Textual Claims (AVeriTeC) 共有タスクは、参加者に証拠を検索し、ファクトチェッカーがチェックした現実世界のクレームの正確性を予測する。
証拠は検索エンジン経由で、またはオーガナイザが提供する知識ストア経由で見つけることができる。
AVeriTeCスコアは、判定が正し、証拠が取得された場合にのみ、クレームが正確であると判断し、一定の品質閾値を満たすものとみなす。
共有タスクは21件の応募を受け取り、そのうち18件がベースラインを超えた。
優勝チームはTUDA_MAIで、AVeriTeCスコアは63%だった。
本稿では、共有タスクを記述し、全結果を示し、共有タスクから重要事項をハイライトする。
関連論文リスト
- Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。
我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。
データセットの精度は6%向上した。
論文 参考訳（メタデータ） (2024-10-07T00:09:50Z) - SemEval-2022 Task 7: Identifying Plausible Clarifications of Implicit
and Underspecified Phrases in Instructional Texts [1.3586926359715774]
本稿では,SemEval-2022 Task 7について述べる。
本課題のデータセットは手作業によるハウツーガイドの明確化からなり,その代替的明確化と人体可視性判定の収集を行った。
参加システムの課題は,各文脈における明確化の妥当性を自動決定することであった。
論文 参考訳（メタデータ） (2023-09-21T14:19:04Z) - Complex Claim Verification with Evidence Retrieved in the Wild [73.19998942259073]
Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。
私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
論文 参考訳（メタデータ） (2023-05-19T17:49:19Z) - A Dataset on Malicious Paper Bidding in Peer Review [84.68308372858755]
悪意あるレビュアーは、紙の割り当てを非倫理的に操作するために戦略的に入札した。
この問題を緩和するための方法の作成と評価への重要な障害は、悪意ある紙入札に関する公開データの欠如である。
我々は、参加者に正直に、悪意的に入札するよう指示されたモックカンファレンス活動から収集された、新しいデータセットをリリースする。
論文 参考訳（メタデータ） (2022-06-24T20:23:33Z) - SCAI-QReCC Shared Task on Conversational Question Answering [7.428559907101379]
SCAI'21は独立したオンラインイベントとして組織され、会話型質問応答の共有タスクを特徴とした。
我々は,この設定における回答の正当性の評価を,主要な課題と現在の研究ギャップとして認識した。
我々は2つのクラウドソーシング実験を行い、回答の妥当性と忠実さのアノテーションを収集した。
論文 参考訳（メタデータ） (2022-01-26T18:03:21Z) - Overview of the CLEF-2019 CheckThat!: Automatic Identification and
Verification of Claims [26.96108180116284]
CheckThat!ラボでは、英語とアラビア語の2つの異なる言語で2つのタスクをこなした。
Task 1の最も成功したアプローチは、さまざまなニューラルネットワークとロジスティック回帰を使用した。
ラーニング・トゥ・ランクは、サブタスクAの最高スコアランで使用された。
論文 参考訳（メタデータ） (2021-09-25T16:08:09Z) - Assisting the Human Fact-Checkers: Detecting All Previously Fact-Checked
Claims in a Document [27.076320857009655]
入力文書が与えられた場合、以前に事実確認されたクレームによって検証可能なクレームを含むすべての文を検出することを目的としている。
出力は文書文の再ランクリストであり、検証可能なものは可能な限り高くランク付けされる。
本分析は,テキストの類似性やスタンスをモデル化することの重要性を実証すると同時に,検索した事実チェックされたクレームの正確性も考慮する。
論文 参考訳（メタデータ） (2021-09-14T13:46:52Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳（メタデータ） (2020-04-13T05:23:25Z) - Claim Check-Worthiness Detection as Positive Unlabelled Learning [53.24606510691877]
クレームチェックの信頼性検出はファクトチェックシステムにおいて重要な要素である。
これらの課題の根底にあるクレームチェックの信頼性検出における中心的な課題を照明する。
我々の最良の手法は、正の非競合学習の変種を用いて、これを自動的に修正する統一的なアプローチである。
論文 参考訳（メタデータ） (2020-03-05T16:06:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。