論文の概要: AfrIFact: Cultural Information Retrieval, Evidence Extraction and Fact Checking for African Languages
- arxiv url: http://arxiv.org/abs/2604.00706v1
- Date: Wed, 01 Apr 2026 10:08:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-02 16:44:31.936675
- Title: AfrIFact: Cultural Information Retrieval, Evidence Extraction and Fact Checking for African Languages
- Title(参考訳): AfrIFact:アフリカ言語における文化的情報検索,エビデンス抽出,Fact Checking
- Abstract要約: AfrIFactは10のアフリカ語と英語の自動ファクトチェックに必要なステップをカバーするデータセットである。
評価の結果,最高の埋め込みモデルでさえ言語間検索機能が欠如していることが判明した。
AfriqueQwen-14Bでは,LLMには堅牢なマルチリンガルな事実検証機能が欠如していることが示されている。
- 参考スコア(独自算出の注目度): 24.886635245523504
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Assessing the veracity of a claim made online is a complex and important task with real-world implications. When these claims are directed at communities with limited access to information and the content concerns issues such as healthcare and culture, the consequences intensify, especially in low-resource languages. In this work, we introduce AfrIFact, a dataset that covers the necessary steps for automatic fact-checking (i.e., information retrieval, evidence extraction, and fact checking), in ten African languages and English. Our evaluation results show that even the best embedding models lack cross-lingual retrieval capabilities, and that cultural and news documents are easier to retrieve than healthcare-domain documents, both in large corpora and in single documents. We show that LLMs lack robust multilingual fact-verification capabilities in African languages, while few-shot prompting improves performance by up to 43% in AfriqueQwen-14B, and task-specific fine-tuning further improves fact-checking accuracy by up to 26%. These findings, along with our release of the AfrIFact dataset, encourage work on low-resource information retrieval, evidence retrieval, and fact checking.
- Abstract(参考訳): オンラインのクレームの正確性を評価することは、実世界の意味において複雑で重要なタスクである。
これらの主張が、情報へのアクセスが限られているコミュニティや、医療や文化などのコンテンツに関する問題に向けられた場合、その結果は、特に低リソース言語において、さらに強まります。
本研究では,10のアフリカ語と英語で,自動事実チェック(情報検索,証拠抽出,事実確認)に必要なステップをカバーするデータセットであるAfrIFactを紹介する。
評価の結果,最高の埋め込みモデルでも言語間検索機能が欠如しており,医療領域の文書よりも,大きなコーパスや単一文書の方が文化・ニュース資料の検索が容易であることがわかった。
AfriqueQwen-14Bでは,LLMには堅牢なマルチリンガルなファクト検証機能が欠如しているのに対して,AfriqueQwen-14Bではパフォーマンスが最大43%向上し,タスク固有の微調整により,ファクトチェックの精度が最大26%向上している。
これらの結果は、AfrIFactデータセットのリリースとともに、低リソース情報検索、エビデンス検索、事実チェックへの取り組みを奨励している。
関連論文リスト
- SLIDE: Sliding Localized Information for Document Extraction [1.474945380093949]
複数ウィンドウを重畳してローカルコンテキストを生成することで,長いドキュメントを処理するチャンキング手法であるSLIDE(Sliding Localized Information for Document extract)を紹介する。
GraphRAGのパフォーマンスが大幅に向上し、エンティティ抽出が24%向上し、英語の関係抽出が39%向上した。
低リソース言語であるAfrikaansでは、SLIDEはエンティティ抽出が49%増加し、関係抽出が82%改善した。
論文 参考訳(メタデータ) (2025-03-23T06:00:39Z) - Correcting FLORES Evaluation Dataset for Four African Languages [2.552967468434151]
オリジナルのデータセットは低リソース言語をカバーしているが、様々な不整合や不正確性を示した。
ネイティブスピーカーによる綿密なレビュープロセスを通じて、いくつかの修正が特定され、実装された。
我々の補正によって、データの言語的正確性と信頼性が向上すると考えている。
論文 参考訳(メタデータ) (2024-09-01T06:13:03Z) - FactFinders at CheckThat! 2024: Refining Check-worthy Statement Detection with LLMs through Data Pruning [43.82613670331329]
本研究では,オープンソースの言語モデルを用いて,政治的書き起こしからチェックにふさわしい文章を識別する手法について検討する。
本稿では,高品質なトレーニングデータインスタンスを自動的に同定し,効果的な学習を行うための2段階のデータ解析手法を提案する。
私たちのチームは英語のチェック・マインドネス・タスクで1位にランクインした。
論文 参考訳(メタデータ) (2024-06-26T12:31:31Z) - Zero-Shot Cross-Lingual Reranking with Large Language Models for
Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。
私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。
我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文 参考訳(メタデータ) (2023-12-26T18:38:54Z) - AfroBench: How Good are Large Language Models on African Languages? [55.35674466745322]
AfroBenchは、64のアフリカ言語にわたるLLMのパフォーマンスを評価するためのベンチマークである。
AfroBenchは9つの自然言語理解データセット、6つのテキスト生成データセット、6つの知識と質問応答タスク、1つの数学的推論タスクで構成される。
論文 参考訳(メタデータ) (2023-11-14T08:10:14Z) - The Perils & Promises of Fact-checking with Large Language Models [55.869584426820715]
大規模言語モデル(LLM)は、学術論文、訴訟、ニュース記事を書くことをますます信頼されている。
語句検索,文脈データ検索,意思決定などにより,実検におけるLLMエージェントの使用状況を評価する。
本研究は, 文脈情報を用いたLLMの高度化を示すものである。
LLMは事実チェックにおいて有望であるが、不整合の正確性のため注意が必要である。
論文 参考訳(メタデータ) (2023-10-20T14:49:47Z) - FactLLaMA: Optimizing Instruction-Following Language Models with
External Knowledge for Automated Fact-Checking [10.046323978189847]
本稿では,命令追従言語モデルと外部エビデンス検索を併用して,ファクトチェック性能を向上させることを提案する。
我々のアプローチは、与えられた入力クレームに関する適切な証拠を検索するために検索エンジンを活用することである。
そして、この証拠を用いて、LLaMAと呼ばれるオープンソースの言語モデルを作成し、入力クレームの正確性をより正確に予測できるようにする。
論文 参考訳(メタデータ) (2023-09-01T04:14:39Z) - Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳(メタデータ) (2023-05-25T15:01:19Z) - CONCRETE: Improving Cross-lingual Fact-checking with Cross-lingual
Retrieval [73.48591773882052]
ほとんどのファクトチェックアプローチは、他の言語におけるデータ不足の問題にのみ英語に焦点を当てている。
クロスリンガル検索を付加した最初のファクトチェックフレームワークを提案する。
提案したクロスリンガル逆クローズタスク(XICT)を用いてレトリバーを訓練する。
論文 参考訳(メタデータ) (2022-09-05T17:36:14Z) - CHEF: A Pilot Chinese Dataset for Evidence-Based Fact-Checking [55.75590135151682]
CHEFは、10万件の現実世界のクレームに関する最初のChenese EvidenceベースのFact-checkingデータセットである。
このデータセットは、政治から公衆衛生まで、複数のドメインをカバーし、インターネットから取得した注釈付きの証拠を提供する。
論文 参考訳(メタデータ) (2022-06-06T09:11:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。