論文の概要: ViFactCheck: A New Benchmark Dataset and Methods for Multi-domain News Fact-Checking in Vietnamese
- arxiv url: http://arxiv.org/abs/2412.15308v1
- Date: Thu, 19 Dec 2024 13:41:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-23 16:21:04.600641
- Title: ViFactCheck: A New Benchmark Dataset and Methods for Multi-domain News Fact-Checking in Vietnamese
- Title（参考訳）: ViFactCheck: ベトナムのマルチドメインニュースFact-Checkingのためのベンチマークデータセットとメソッド
- Authors: Tran Thai Hoa, Tran Quang Duy, Khanh Quoc Tran, Kiet Van Nguyen,
- Abstract要約: ViFactCheckはベトナムのファクトチェック用に設計された最初のベンチマークデータセットである。
このデータセットには、信頼できるベトナムのオンラインニュースから得られた7,232組の請求-証拠の組み合わせが含まれている。
Gemmaモデルは優れた効果を示し、マクロF1スコアは89.90%であった。
- 参考スコア（独自算出の注目度）: 1.0395448371001137
- License:
- Abstract: The rapid spread of information in the digital age highlights the critical need for effective fact-checking tools, particularly for languages with limited resources, such as Vietnamese. In response to this challenge, we introduce ViFactCheck, the first publicly available benchmark dataset designed specifically for Vietnamese fact-checking across multiple online news domains. This dataset contains 7,232 human-annotated pairs of claim-evidence combinations sourced from reputable Vietnamese online news, covering 12 diverse topics. It has been subjected to a meticulous annotation process to ensure high quality and reliability, achieving a Fleiss Kappa inter-annotator agreement score of 0.83. Our evaluation leverages state-of-the-art pre-trained and large language models, employing fine-tuning and prompting techniques to assess performance. Notably, the Gemma model demonstrated superior effectiveness, with an impressive macro F1 score of 89.90%, thereby establishing a new standard for fact-checking benchmarks. This result highlights the robust capabilities of Gemma in accurately identifying and verifying facts in Vietnamese. To further promote advances in fact-checking technology and improve the reliability of digital media, we have made the ViFactCheck dataset, model checkpoints, fact-checking pipelines, and source code freely available on GitHub. This initiative aims to inspire further research and enhance the accuracy of information in low-resource languages.
- Abstract（参考訳）: デジタル時代における情報の急速な普及は、特にベトナムなどの限られた資源を持つ言語において、効果的な事実チェックツールの必要性を浮き彫りにしている。
この課題に対応するために、ベトナムのファクトチェックに特化した、複数のオンラインニュースドメインにまたがる最初の公開ベンチマークデータセットであるViFactCheckを紹介します。
このデータセットには、ベトナムの信頼できるオンラインニュースから得られた、7,232対の人手による請求-証拠の組み合わせが含まれており、12のさまざまなトピックがカバーされている。
Fleiss Kappa inter-annotator agreement scoreの0.83を達成し、高品質で信頼性を確保するための厳密なアノテーションプロセスが義務付けられている。
我々の評価は、最先端の事前訓練および大規模言語モデルを活用し、微調整と性能評価の促進技術を用いている。
特に、Gemmaモデルは優れた性能を示し、マクロF1スコアは89.90%であり、ファクトチェックベンチマークのための新しい標準が確立された。
この結果は、ベトナムの事実を正確に識別し、検証するGemmaの堅牢な能力を強調している。
ファクトチェック技術の進歩をさらに促進し、デジタルメディアの信頼性を向上させるため、ViFactCheckデータセット、モデルチェックポイント、ファクトチェックパイプライン、ソースコードをGitHubで無償公開しました。
このイニシアチブは、低リソース言語における情報のさらなる研究と精度向上を目的としている。
関連論文リスト
- ViWikiFC: Fact-Checking for Vietnamese Wikipedia-Based Textual Knowledge Source [0.964547614383472]
ViWikiFCはベトナム語ウィキペディアのFact Checkingのための最初の手動注釈付きオープンドメインコーパスである。
我々は、新しい依存率、新しいn-gramレート、新しい単語レートから、多くの言語的側面からコーパスを分析する。
BM25とInfoXLM(ラージ)は2つのタスクで最高の結果を達成し、BM25は88.30%のサポーター、86.93%のREFUTES、56.67%のエビデンス検索タスクを達成した。
論文 参考訳（メタデータ） (2024-05-13T10:24:05Z) - VlogQA: Task, Dataset, and Baseline Models for Vietnamese Spoken-Based Machine Reading Comprehension [1.3942150186842373]
本稿では,機械読解作業のためのベトナム語音声コーパスの開発過程について述べる。
ベトナムの既存のMRCコーポラは主にウィキペディアの記事、オンライン新聞、教科書などの公式文書に焦点を当てている。
対照的に、VlogQAはYouTubeからソースされた1,230の文書に基づいて10,076の質問応答ペアで構成されている。
論文 参考訳（メタデータ） (2024-02-05T00:54:40Z) - AiGen-FoodReview: A Multimodal Dataset of Machine-Generated Restaurant
Reviews and Images on Social Media [57.70351255180495]
AiGen-FoodReviewは、20,144のレストランレビューイメージペアからなるデータセットである。
FLAVAで99.80%のマルチモーダル精度を達成し,一様・多モーダル検出モデルについて検討する。
この論文は、データセットをオープンソース化し、偽レビュー検出装置を公開し、非モーダルかつマルチモーダルな偽レビュー検出タスクでの使用を推奨し、合成データと真正データにおける言語的特徴と視覚的特徴を評価することで貢献する。
論文 参考訳（メタデータ） (2024-01-16T20:57:36Z) - READIN: A Chinese Multi-Task Benchmark with Realistic and Diverse Input
Noises [87.70001456418504]
我々は、Realistic and Diverse Input Noisesを用いた中国のマルチタスクベンチマークREADINを構築した。
READINには4つの多様なタスクとアノテータが含まれており、Pinyin入力と音声入力という2つの一般的な中国語入力方式で元のテストデータを再入力するよう要求する。
我々は、強化された事前訓練された言語モデルと、堅牢なトレーニング手法を用いて実験を行い、これらのモデルがREADINに顕著な性能低下を被ることがしばしば見いだされた。
論文 参考訳（メタデータ） (2023-02-14T20:14:39Z) - Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。
我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。
また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
論文 参考訳（メタデータ） (2023-01-22T18:22:55Z) - CONCRETE: Improving Cross-lingual Fact-checking with Cross-lingual
Retrieval [73.48591773882052]
ほとんどのファクトチェックアプローチは、他の言語におけるデータ不足の問題にのみ英語に焦点を当てている。
クロスリンガル検索を付加した最初のファクトチェックフレームワークを提案する。
提案したクロスリンガル逆クローズタスク(XICT)を用いてレトリバーを訓練する。
論文 参考訳（メタデータ） (2022-09-05T17:36:14Z) - CHEF: A Pilot Chinese Dataset for Evidence-Based Fact-Checking [55.75590135151682]
CHEFは、10万件の現実世界のクレームに関する最初のChenese EvidenceベースのFact-checkingデータセットである。
このデータセットは、政治から公衆衛生まで、複数のドメインをカバーし、インターネットから取得した注釈付きの証拠を提供する。
論文 参考訳（メタデータ） (2022-06-06T09:11:03Z) - PhoMT: A High-Quality and Large-Scale Benchmark Dataset for
Vietnamese-English Machine Translation [6.950742601378329]
3.02M文対のベトナム語-英語並列データセットを高品質かつ大規模に導入する。
これはベトナム語と英語の機械翻訳コーパスIWSLT15より2.9M大きい。
自動・人両方の評価において、事前訓練されたシーケンス・ツー・シーケンス・デノナイズ・オートエンコーダmBARTを微調整することにより、最高の性能が得られる。
論文 参考訳（メタデータ） (2021-10-23T11:42:01Z) - Mr. TyDi: A Multi-lingual Benchmark for Dense Retrieval [51.004601358498135]
Mr. TyDiは、11の類型的多様言語における単言語検索のためのベンチマークデータセットである。
このリソースの目的は、非英語言語における高密度検索技術の研究を促進することである。
論文 参考訳（メタデータ） (2021-08-19T16:53:43Z) - A Vietnamese Dataset for Evaluating Machine Reading Comprehension [2.7528170226206443]
ベトナム語として低リソース言語のための新しいデータセットであるUIT-ViQuADを提案する。
このデータセットは、ウィキペディアから174のベトナム語記事の5,109節に基づいて、23,000人以上の人が生成した質問応答ペアで構成されている。
UIT-ViQuADの最初の実験モデルとして、英語と中国語の最先端MRC手法の実験を行った。
論文 参考訳（メタデータ） (2020-09-30T15:06:56Z) - Enhancing lexical-based approach with external knowledge for Vietnamese
multiple-choice machine reading comprehension [2.5199066832791535]
我々はベトナム語の417のテキストに基づいて,2,783対の複数選択質問と回答からなるデータセットを構築した。
本稿では,意味的類似度尺度と外部知識源を用いて質問を分析し,与えられたテキストから回答を抽出する語彙ベースのMDC手法を提案する。
提案手法は,最良ベースラインモデルよりも5.51%高い精度で61.81%の精度を実現する。
論文 参考訳（メタデータ） (2020-01-16T08:09:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。