論文の概要: X-FACT: A New Benchmark Dataset for Multilingual Fact Checking
- arxiv url: http://arxiv.org/abs/2106.09248v1
- Date: Thu, 17 Jun 2021 05:09:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-18 15:56:22.495974
- Title: X-FACT: A New Benchmark Dataset for Multilingual Fact Checking
- Title(参考訳): X-FACT: マルチリンガルファクトチェックのためのベンチマークデータセット
- Authors: Ashim Gupta and Vivek Srikumar
- Abstract要約: 本稿では,X-FACTについて紹介する。X-FACTは,自然に存在する実世界のクレームの事実検証のための,多言語データセットとして最大である。
データセットには25の言語で短いステートメントが含まれており、専門家のファクトチェッカーによって正確性を示すラベルが付けられている。
- 参考スコア(独自算出の注目度): 21.2633064526968
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we introduce X-FACT: the largest publicly available
multilingual dataset for factual verification of naturally existing real-world
claims. The dataset contains short statements in 25 languages and is labeled
for veracity by expert fact-checkers. The dataset includes a multilingual
evaluation benchmark that measures both out-of-domain generalization, and
zero-shot capabilities of the multilingual models. Using state-of-the-art
multilingual transformer-based models, we develop several automated
fact-checking models that, along with textual claims, make use of additional
metadata and evidence from news stories retrieved using a search engine.
Empirically, our best model attains an F-score of around 40%, suggesting that
our dataset is a challenging benchmark for evaluation of multilingual
fact-checking models.
- Abstract(参考訳): 本稿では,自然に存在する実世界のクレームを実際に検証するための,公開可能な最大多言語データセットであるx-factを紹介する。
データセットは25の言語で短いステートメントを含んでおり、専門家のファクトチェッカーによってveracityとラベル付けされている。
データセットには、ドメイン外の一般化と、多言語モデルのゼロショット能力の両方を測定する多言語評価ベンチマークが含まれている。
最先端の多言語トランスフォーマーモデルを用いて,テキストクレームに加えて,検索エンジンを用いて検索したニュース記事のメタデータやエビデンスを利用したファクトチェックモデルを開発した。
経験的に、最良のモデルは、約40%のf-scoreを達成し、我々のデータセットは、多言語ファクトチェックモデルの評価に挑戦的なベンチマークであることを示唆している。
関連論文リスト
- The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122
Language Variants [82.6462524808751]
私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。
このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
論文 参考訳(メタデータ) (2023-08-31T17:43:08Z) - An Open Dataset and Model for Language Identification [84.15194457400253]
マクロ平均F1スコア0.93、偽陽性率0.033を201言語で達成するLIDモデルを提案する。
モデルとデータセットの両方を研究コミュニティに公開しています。
論文 参考訳(メタデータ) (2023-05-23T08:43:42Z) - XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented
Languages [105.54207724678767]
データ不足は、多言語NLPシステムの開発において重要な問題である。
我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。
XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
論文 参考訳(メタデータ) (2023-05-19T18:00:03Z) - mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。
有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。
事実整合性評価モデルを利用して、多言語要約を改善する。
論文 参考訳(メタデータ) (2022-12-20T19:52:41Z) - Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。
これらのデータセットは10以上のプログラミング言語をカバーする。
コード生成モデルの性能を多言語で評価することができる。
論文 参考訳(メタデータ) (2022-10-26T17:17:06Z) - mLUKE: The Power of Entity Representations in Multilingual Pretrained
Language Models [15.873069955407406]
我々は、エンティティ表現を持つ24言語で多言語モデルを訓練する。
本稿では,言語間移動タスクにおいて,単語ベース事前学習モデルより一貫して優れることを示す。
また,mLAMAデータセットを用いた多言語クローゼプロンプトタスクによるモデルの評価を行った。
論文 参考訳(メタデータ) (2021-10-15T15:28:38Z) - A Multilingual Bag-of-Entities Model for Zero-Shot Cross-Lingual Text
Classification [16.684856745734944]
ゼロショット言語間テキスト分類の性能を向上する多言語バッグ・オブ・エンティリティモデルを提案する。
同じ概念を表す複数の言語のエンティティは、ユニークな識別子で定義される。
したがって、リソース豊富な言語のエンティティ機能に基づいて訓練されたモデルは、他の言語に直接適用することができる。
論文 参考訳(メタデータ) (2021-10-15T01:10:50Z) - XL-WiC: A Multilingual Benchmark for Evaluating Semantic
Contextualization [98.61159823343036]
単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。
我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。
実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
論文 参考訳(メタデータ) (2020-10-13T15:32:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。