論文の概要: Ta'keed: The First Generative Fact-Checking System for Arabic Claims
- arxiv url: http://arxiv.org/abs/2401.14067v1
- Date: Thu, 25 Jan 2024 10:43:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 14:54:44.934080
- Title: Ta'keed: The First Generative Fact-Checking System for Arabic Claims
- Title（参考訳）: Ta'keed:アラビア語のクレームのための最初の生成ファクトチェッキングシステム
- Authors: Saud Althabiti, Mohammad Ammar Alsalka, and Eric Atwell
- Abstract要約: 本稿では,アラビア語の自動ファクトチェックシステムであるTa'keedを紹介する。
タケドは、特にアラビア語で、主張の信頼性に関する説明を生成する。
このシステムは、分類タスクで有望なF1スコア0.72を達成した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces Ta'keed, an explainable Arabic automatic fact-checking
system. While existing research often focuses on classifying claims as "True"
or "False," there is a limited exploration of generating explanations for claim
credibility, particularly in Arabic. Ta'keed addresses this gap by assessing
claim truthfulness based on retrieved snippets, utilizing two main components:
information retrieval and LLM-based claim verification. We compiled the
ArFactEx, a testing gold-labelled dataset with manually justified references,
to evaluate the system. The initial model achieved a promising F1 score of 0.72
in the classification task. Meanwhile, the system's generated explanations are
compared with gold-standard explanations syntactically and semantically. The
study recommends evaluating using semantic similarities, resulting in an
average cosine similarity score of 0.76. Additionally, we explored the impact
of varying snippet quantities on claim classification accuracy, revealing a
potential correlation, with the model using the top seven hits outperforming
others with an F1 score of 0.77.
- Abstract（参考訳）: 本稿では,アラビア語の自動ファクトチェックシステムta'keedについて述べる。
既存の研究は、主張を「真実」または「偽」と分類することに焦点を当てていることが多いが、特にアラビア語では、主張の信頼性に関する説明を生成することは限られている。
Ta'keedはこのギャップに対処し、検索されたスニペットに基づいてクレーム真理性を評価し、情報検索とLLMベースのクレーム検証という2つの主要なコンポーネントを利用する。
我々は、手動で正当化された参照を持つゴールドラベルのデータセットであるArFactExをコンパイルし、システムを評価した。
最初のモデルは、分類タスクで有望なF1スコア0.72を達成した。
一方、システムの生成した説明は、構文的にも意味的にもゴールドスタンダードの説明と比較される。
この研究は意味的類似性の評価を推奨し、平均コサイン類似度スコアは0.76である。
さらに,クレーム分類精度に及ぼすスニペット量の影響について検討し,F1スコア0.77の上位7ヒットを用いたモデルを用いて検討した。
関連論文リスト
- Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。
まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。
そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
論文 参考訳（メタデータ） (2024-10-09T22:53:48Z) - Evaluating Evidence Attribution in Generated Fact Checking Explanations [48.776087871960584]
生成した説明文の属性品質を評価するために,新しい評価プロトコル,引用マスキングとリカバリを導入する。
実験により、最高の性能を持つLSMは、不正確な属性を持つ説明を生成することが明らかとなった。
より良い説明を生み出すには人為的な証拠が不可欠である。
論文 参考訳（メタデータ） (2024-06-18T14:13:13Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳（メタデータ） (2024-04-04T15:36:53Z) - SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for
Generative Large Language Models [55.60306377044225]
「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。
本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
論文 参考訳（メタデータ） (2023-03-15T19:31:21Z) - Aggregating Pairwise Semantic Differences for Few-Shot Claim Veracity
Classification [21.842139093124512]
本稿では,新しいベクトルベース手法であるSEEDを導入する。
クラス内のクレーム-エビデンス対の平均意味的差異を捉えるクラス代表ベクトルをシミュレートできるという仮説に基づいて構築する。
FEVERとSCIFACTデータセットで実施された実験では、数ショット設定で競合するベースラインよりも一貫した改善が見られた。
論文 参考訳（メタデータ） (2022-05-11T17:23:37Z) - Overview of the CLEF-2019 CheckThat!: Automatic Identification and
Verification of Claims [26.96108180116284]
CheckThat!ラボでは、英語とアラビア語の2つの異なる言語で2つのタスクをこなした。
Task 1の最も成功したアプローチは、さまざまなニューラルネットワークとロジスティック回帰を使用した。
ラーニング・トゥ・ランクは、サブタスクAの最高スコアランで使用された。
論文 参考訳（メタデータ） (2021-09-25T16:08:09Z) - Visualizing Classifier Adjacency Relations: A Case Study in Speaker
Verification and Voice Anti-Spoofing [72.4445825335561]
任意のバイナリ分類器によって生成される検出スコアから2次元表現を導出する簡単な方法を提案する。
ランク相関に基づいて,任意のスコアを用いた分類器の視覚的比較を容易にする。
提案手法は完全に汎用的であり,任意の検出タスクに適用可能だが,自動話者検証と音声アンチスプーフィングシステムによるスコアを用いた手法を実証する。
論文 参考訳（メタデータ） (2021-06-11T13:03:33Z) - Automatic Difficulty Classification of Arabic Sentences [0.0]
3方向cefr分類の精度はアラビア語-bert分類では0.80, xlm-r分類では0.75, 回帰では0.71スピアマン相関である。
我々は,異なる種類の文埋め込み(fastText, mBERT, XLM-R, Arabic-BERT)とPOSタグ, 依存性木, 可読性スコア, 言語学習者の頻度リストなど,従来の言語機能との比較を行った。
論文 参考訳（メタデータ） (2021-03-07T16:02:04Z) - CIF-based Collaborative Decoding for End-to-end Contextual Speech
Recognition [14.815422751109061]
コンテキストバイアスをより制御可能な方法でサポートするCIF(Continuous Integration-and-fire)ベースのモデルを提案する。
追加のコンテキスト処理ネットワークを導入し、コンテキスト埋め込みを抽出し、音響的に関連するコンテキスト情報を統合し、コンテキスト出力分布をデコードする。
提案手法は, 強ベースラインと比較して, 相対的文字誤り率 (CER) の8.83%/21.13%, 相対的名前付きエンティティ文字誤り率 (NE-CER) の40.14%/51.50%削減を実現する。
論文 参考訳（メタデータ） (2020-12-17T09:40:11Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳（メタデータ） (2020-04-13T05:23:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。