論文の概要: ARAFA: An LLM-Generated Arabic Fact-Checking Dataset

• arxiv url: http://arxiv.org/abs/2609.25833v1
• Date: Tue, 22 Sep 2026 07:59:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.27863
• Title: ARAFA: An LLM-Generated Arabic Fact-Checking Dataset
• Title（参考訳）: ARAFA: LLMで生成されたアラビアのFact-Checkingデータセット
• Abstract要約: Arafaは、現代標準アラビア語でファクトチェックのための新しい大規模データセットである。 データセットは、大規模言語モデル(LLM)を活用した自動化フレームワークによって構築された。 得られたデータセットは、181,976個のクレーム-エビデンスペアからなり、サポートされた、反証された、あるいは不十分な情報としてラベル付けされる。
• 参考スコア（独自算出の注目度）: 0.47409626500688856
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Automatic fact-checking poses a significant challenge in Arabic natural language processing due to the scarcity of datasets and resources. In this manuscript, we introduce Arafa, a new large-scale dataset for fact-checking in Modern Standard Arabic, constructed through an automated framework leveraging large language models (LLMs). The dataset was constructed through a three-step pipeline: (1) claim generation from Arabic Wikipedia pages with supporting textual evidence, (2) claim mutation to generate challenging counterfactual claims with refuting evidence, and (3) an automatic validation step to validate that the generated claims are either supported or refuted by their accompanying evidence, or if the evidence does not provide enough information to judge the validity of the claims. The resulting dataset comprises 181,976 claim-evidence pairs labeled as supported, refuted, or not enough information. Human evaluation carried out on a test sample from the dataset demonstrated strong inter-annotator agreement (kappa = 0.89) using Cohen's Kappa for supported claims and (kappa = 0.94) for refuted claims. Automatic validation based on a human-evaluated sample achieved 86% accuracy for supported claims and 88% for refuted ones. To showcase Arafa's value as a resource for automatic Arabic fact-checking, four open-source transformer-based models were fine-tuned using Arafa, with the top-performing model achieving a Macro F1-score of 77% on the test data. In addition to Arafa being the first large-scale dataset for Arabic fact-checking, our framework presents a scalable approach for developing similar resources for other low-resource languages.
• Abstract（参考訳）: 自動ファクトチェックは、データセットやリソースの不足により、アラビア語の自然言語処理において重要な課題となっている。 本稿では,現代標準アラビア語におけるファクトチェックのための新しい大規模データセットであるArafaを紹介し,大規模言語モデル(LLM)を活用した自動フレームワークを用いて構築する。 このデータセットは,(1) アラビア語ウィキペディアのページからのクレーム生成とテキスト証拠の支持,(2) 反ファクトのクレーム生成のためのクレーム突然変異,(3) 生成したクレームが関連する証拠によって支持されるか反証されるか,あるいは証拠がクレームの有効性を判断するのに十分な情報を提供していないか,という3段階のパイプラインを通じて構築された。 得られたデータセットは、181,976個のクレーム-エビデンスペアからなり、サポートされた、反証された、あるいは不十分な情報としてラベル付けされる。 実験結果から得られた人体評価では, コーエンのKappaを用いた強いアノテータ間合意 (kappa = 0.89) と反証クレーム (kappa = 0.94) が得られた。 人体評価標本に基づく自動検証は, 支持されたクレームに対して86%の精度, 反響するクレームに対しては88%の精度を達成した。 アラファの自動ファクトチェックのリソースとしてのアラファの価値を示すために、4つのオープンソーストランスフォーマーベースのモデルをArafaを使用して微調整し、テストデータに対してマクロF1スコアを77%達成した。 アラビア語ファクトチェックのための最初の大規模データセットであるArafaに加えて、我々のフレームワークは、他の低リソース言語向けの同様のリソースを開発するためのスケーラブルなアプローチを提示しています。

関連論文リスト

• Can LLMs extract human-like fine-grained evidence for evidence-based fact-checking? [0.0]
  本稿では,チェコとスロバキアの主張に対するきめ細かい証拠抽出に焦点を当てた。 有償アノテータが作成した2方向の微粒なエビデンスを含む新しいデータセットを作成します。 我々は、このデータセット上で大きな言語モデル(LLM)を評価し、人間のアノテーションとの整合性を評価する。
  論文  参考訳（メタデータ） (2025-11-26T13:51:59Z)
• Improving the fact-checking performance of language models by relying on their entailment ability [3.371541812350348]
  本稿では,ファクトチェックのために,エンコーダのみの言語モデル(ELM)を訓練するための簡易かつ効果的な手法を提案する。 我々は厳密な実験を行い、我々のアプローチを最近の研究と比べ、アプローチの優位性を実証するために様々なプロンプトと微調整の戦略を実践した。
  論文  参考訳（メタデータ） (2025-05-21T03:15:06Z)
• MAPLE: Micro Analysis of Pairwise Language Evolution for Few-Shot Claim Verification [13.850163346546651]
  MAPLEは、請求項とその証拠を小さなSeq2seqモデルと新しい意味尺度で一致させる先駆的なアプローチである。 マイクロ言語進化経路の革新的な利用は、請求の検証を容易にするために、重複しないペアワイズデータを活用する。 MAPLEは、3つのファクトチェックデータセットに対して、SOTAベースラインSEED、PET、LLaMA 2よりも大幅なパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2024-01-29T16:39:39Z)
• Ta'keed: The First Generative Fact-Checking System for Arabic Claims [0.0]
  本稿では,アラビア語の自動ファクトチェックシステムであるTa'keedを紹介する。 タケドは、特にアラビア語で、主張の信頼性に関する説明を生成する。 このシステムは、分類タスクで有望なF1スコア0.72を達成した。
  論文  参考訳（メタデータ） (2024-01-25T10:43:00Z)
• Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
  証拠は、自動化された事実チェックにおいて重要な役割を果たす。 既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。 資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:01:19Z)
• FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
  実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。 我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
  論文  参考訳（メタデータ） (2021-07-05T17:31:44Z)
• Zero-shot Fact Verification by Claim Generation [85.27523983027471]
  我々は,堅牢な事実検証モデルをトレーニングするフレームワークであるQACGを開発した。 われわれは自動的に生成されたクレームを使って、Wikipediaのエビデンスからサポートしたり、反論したり、検証したりできる。 ゼロショットシナリオでは、QACGはRoBERTaモデルのF1を50%から77%に改善し、パフォーマンスは2K以上の手作業による例に相当する。
  論文  参考訳（メタデータ） (2021-05-31T03:13:52Z)
• AraStance: A Multi-Country and Multi-Domain Dataset of Arabic Stance Detection for Fact Checking [19.962693437515753]
  我々は、さまざまなソースから910のクレームの新しいアラビアスタンス検出データセット(AraStance)を提示します。 AraStanceは、複数のドメイン(例えば、政治、スポーツ、健康)といくつかのアラブ諸国からの虚偽および真の主張をカバーしています。 私たちの最高のモデルは、85%の精度と78%のマクロF1スコアを達成し、改善の余地を残します。
  論文  参考訳（メタデータ） (2021-04-28T03:38:24Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。