論文の概要: Do We Need Language-Specific Fact-Checking Models? The Case of Chinese

• arxiv url: http://arxiv.org/abs/2401.15498v3
• Date: Fri, 04 Oct 2024 05:02:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 18:20:21.449659
• Title: Do We Need Language-Specific Fact-Checking Models? The Case of Chinese
• Title（参考訳）: 言語特異的Fact-Checkingモデルが必要か? : 中国語の場合
• Authors: Caiqi Zhang, Zhijiang Guo, Andreas Vlachos,
• Abstract要約: 本稿では,中国語の事例に着目し,言語固有の事実チェックモデルの潜在的なメリットについて検討する。 まず、翻訳に基づく手法と多言語大言語モデルの限界を実証し、言語固有のシステムの必要性を強調した。 文脈情報を組み込んで文書から証拠をよりよく検索できる中国のファクトチェックシステムを提案する。
• 参考スコア（独自算出の注目度）: 15.619421104102516
• License:
• Abstract: This paper investigates the potential benefits of language-specific fact-checking models, focusing on the case of Chinese. We first demonstrate the limitations of translation-based methods and multilingual large language models (e.g., GPT-4), highlighting the need for language-specific systems. We further propose a Chinese fact-checking system that can better retrieve evidence from a document by incorporating context information. To better analyze token-level biases in different systems, we construct an adversarial dataset based on the CHEF dataset, where each instance has large word overlap with the original one but holds the opposite veracity label. Experimental results on the CHEF dataset and our adversarial dataset show that our proposed method outperforms translation-based methods and multilingual LLMs and is more robust toward biases, while there is still large room for improvement, emphasizing the importance of language-specific fact-checking systems.
• Abstract（参考訳）: 本稿では,中国語の事例に着目し,言語固有の事実チェックモデルの潜在的なメリットについて検討する。 まず、翻訳に基づく手法と多言語大言語モデル(例えば、GPT-4)の限界を示し、言語固有のシステムの必要性を強調した。 また、文脈情報を組み込んで文書から証拠をよりよく検索できる中国のファクトチェックシステムを提案する。 異なるシステムにおけるトークンレベルのバイアスをよりよく解析するため、CHEFデータセットに基づいて逆のデータセットを構築し、各インスタンスは元のものと大きな単語重なりを持つが、逆の精度ラベルを持っている。 CHEFデータセットと逆数データセットによる実験結果から,提案手法は翻訳に基づく手法や多言語LPMよりも優れ,バイアスに対して頑健であり,まだ改善の余地が広く,言語固有の事実チェックシステムの重要性を強調している。

関連論文リスト

• A Comparative Study of Translation Bias and Accuracy in Multilingual Large Language Models for Cross-Language Claim Verification [1.566834021297545]
  本研究は,言語間クレーム検証における翻訳バイアスと大規模言語モデルの有効性を体系的に評価する。 本稿では,事前翻訳と自己翻訳の2つの異なる翻訳手法について検討する。 その結果,低リソース言語では表現不足による直接推論の精度が著しく低いことが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-14T09:02:42Z)
• XFEVER: Exploring Fact Verification across Languages [40.1637899493061]
  本稿では,異なる言語間で事実検証モデルをベンチマークするために設計された言語間ファクト抽出と検証データセットを提案する。 我々は、Fact extract and VERificationデータセットのクレームとエビデンステキストを6言語に翻訳して構築した。 トレーニングセットと開発セットは機械翻訳を使用して翻訳され、テストセットはプロの翻訳者によって翻訳されたテキストと機械翻訳されたテキストを含む。
  論文  参考訳（メタデータ） (2023-10-25T01:20:17Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• MultiTACRED: A Multilingual Version of the TAC Relation Extraction Dataset [6.7839993945546215]
  そこで本研究では,9つの言語群から12種類の言語を対象とするMultiTACREDデータセットについて紹介する。 翻訳とアノテーションのプロジェクションの品質を分析し、エラーカテゴリを特定し、訓練済みの単言語および多言語言語モデルの微調整を実験的に評価する。 対象言語の多くにおいて、モノリンガルREモデルの性能は英語オリジナルに匹敵するものであり、英語とターゲット言語データの組み合わせで訓練された多言語モデルは、モノリンガルモデルよりも優れている。
  論文  参考訳（メタデータ） (2023-05-08T09:48:21Z)
• Understanding Translationese in Cross-Lingual Summarization [106.69566000567598]
  言語間要約(MS)は、異なる対象言語で簡潔な要約を生成することを目的としている。 大規模なCLSデータを集めるために、既存のデータセットは通常、それらの生成に翻訳を伴います。 本稿では、まず、CLSデータセット構築の異なるアプローチが、異なるレベルの翻訳に結びつくことを確認する。
  論文  参考訳（メタデータ） (2022-12-14T13:41:49Z)
• CONCRETE: Improving Cross-lingual Fact-checking with Cross-lingual Retrieval [73.48591773882052]
  ほとんどのファクトチェックアプローチは、他の言語におけるデータ不足の問題にのみ英語に焦点を当てている。 クロスリンガル検索を付加した最初のファクトチェックフレームワークを提案する。 提案したクロスリンガル逆クローズタスク(XICT)を用いてレトリバーを訓練する。
  論文  参考訳（メタデータ） (2022-09-05T17:36:14Z)
• Matching Tweets With Applicable Fact-Checks Across Languages [27.762055254009017]
  ソーシャルメディア投稿(ツイート)のクレームに対する既存のファクトチェックを自動的に見つけることに重点を置いています。 モノリンガル(英語のみ)、マルチリンガル(スペイン語、ポルトガル語)、クロスリンガル(ヒンディー語-英語)の設定において、分類と検索の両方の実験を行う。 4つの言語対における「マッチ」分類(平均精度93%)の有望な結果を示す。
  論文  参考訳（メタデータ） (2022-02-14T23:33:02Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。