論文の概要: Investigating Language and Retrieval Bias in Multilingual Previously Fact-Checked Claim Detection

• arxiv url: http://arxiv.org/abs/2509.25138v1
• Date: Mon, 29 Sep 2025 17:50:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:20.186292
• Title: Investigating Language and Retrieval Bias in Multilingual Previously Fact-Checked Claim Detection
• Title（参考訳）: 複数言語によるFact-Checked Claim検出における言語と検索バイアスの検討
• Authors: Ivan Vykopal, Antonia Karamolegkou, Jaroslav Kopčan, Qiwei Peng, Tomáš Javůrek, Michal Gregor, Marián Šimko,
• Abstract要約: 大きな言語モデル(LLM)は言語間ファクトチェックに強力な機能を提供する。 LLMは、しばしば言語バイアスを示し、英語のような高リソース言語で不公平に優れた性能を発揮する。 我々は,情報検索システムが他者よりも特定の情報を好む傾向にある場合,検索バイアスという新しい概念を提示し,検証する。
• 参考スコア（独自算出の注目度）: 4.6738956348193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual Large Language Models (LLMs) offer powerful capabilities for cross-lingual fact-checking. However, these models often exhibit language bias, performing disproportionately better on high-resource languages such as English than on low-resource counterparts. We also present and inspect a novel concept - retrieval bias, when information retrieval systems tend to favor certain information over others, leaving the retrieval process skewed. In this paper, we study language and retrieval bias in the context of Previously Fact-Checked Claim Detection (PFCD). We evaluate six open-source multilingual LLMs across 20 languages using a fully multilingual prompting strategy, leveraging the AMC-16K dataset. By translating task prompts into each language, we uncover disparities in monolingual and cross-lingual performance and identify key trends based on model family, size, and prompting strategy. Our findings highlight persistent bias in LLM behavior and offer recommendations for improving equity in multilingual fact-checking. To investigate retrieval bias, we employed multilingual embedding models and look into the frequency of retrieved claims. Our analysis reveals that certain claims are retrieved disproportionately across different posts, leading to inflated retrieval performance for popular claims while under-representing less common ones.
• Abstract（参考訳）: 多言語大言語モデル(LLM)は、言語横断の事実チェックに強力な機能を提供する。 しかしながら、これらのモデルは言語バイアスを示し、低リソースの言語よりも英語のような高リソースの言語で不均等に優れている。 また、情報検索システムが他者よりも特定の情報を好む傾向があり、検索プロセスが歪んでいる場合、検索バイアスという新しい概念を提示し、検証する。 本稿では,従来のFact-Checked Claim Detection (PFCD)の文脈における言語と検索バイアスについて検討する。 我々は、AMC-16Kデータセットを利用して、完全多言語プロンプト戦略を用いて、20言語にまたがる6つのオープンソース多言語LPMを評価した。 タスクプロンプトを各言語に翻訳することで、単言語と言語間のパフォーマンスの違いを明らかにし、モデルファミリー、サイズ、プロンプト戦略に基づく重要なトレンドを特定する。 本研究は,LLM行動の持続的バイアスに着目し,多言語ファクトチェックにおけるエクイティ向上を推奨する。 検索バイアスを調査するために,多言語埋め込みモデルを用いて,検索されたクレームの頻度を調べた。 分析の結果,特定のクレームは異なる投稿間で不均等に検索されることが判明し,人気クレームの検索性能が向上する一方で,あまり一般的でないクレームの検索性能が低下することが判明した。

関連論文リスト

• Linguistic Nepotism: Trading-off Quality for Language Preference in Multilingual RAG [55.258582772528506]
  異なる文書言語の混合が意図しない方法で生成と引用に影響を及ぼすかどうかを検討する。 8つの言語と6つのオープンウェイトモデルにまたがって、クエリが英語である場合、モデルは優先的に英語ソースを引用する。 モデルが言語嗜好のトレードオフ文書関連性を示すことがあり、引用選択が情報のみによって常に駆動されるわけではないことが分かる。
  論文  参考訳（メタデータ） (2025-09-17T12:58:18Z)
• Multilingual vs Crosslingual Retrieval of Fact-Checked Claims: A Tale of Two Approaches [8.127643463046516]
  マルチリンガルおよびクロスリンガルのパフォーマンスを改善するための戦略を検討する。 47言語におけるポストとクレームを含むデータセットに対するアプローチを評価する。 最も重要なことは、多言語性は多言語性よりも独自の特徴を持つセットアップであることが示される。
  論文  参考訳（メタデータ） (2025-05-28T08:47:10Z)
• Multilingual Retrieval-Augmented Generation for Knowledge-Intensive Task [73.35882908048423]
  Retrieval-augmented Generation (RAG) は現代のNLPの基盤となっている。 本稿では,複数言語にまたがるRAGの有効性について,複数言語にまたがるオープンドメイン問合せに対する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-04-04T17:35:43Z)
• Large Language Models for Multilingual Previously Fact-Checked Claim Detection [7.086459223390658]
  本稿では,複数言語による事実チェックによるクレーム検出のための大規模言語モデル (LLM) の総合評価について述べる。 20言語にまたがる7つのLLMをモノリンガル・クロスリンガル・セッティングで評価する。 この結果から,LLMは高リソース言語ではよく機能するが,低リソース言語では苦戦していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T15:56:43Z)
• mFollowIR: a Multilingual Benchmark for Instruction Following in Retrieval [61.17793165194077]
  本稿では,検索モデルにおける命令追従能力のベンチマークであるmFollowIRを紹介する。 本稿では,多言語 (XX-XX) と多言語 (En-XX) のパフォーマンスについて述べる。 英語をベースとした学習者による多言語間性能は高いが,多言語設定では顕著な性能低下がみられた。
  論文  参考訳（メタデータ） (2025-01-31T16:24:46Z)
• Multilingual Retrieval Augmented Generation for Culturally-Sensitive Tasks: A Benchmark for Cross-lingual Robustness [30.00463676754559]
  検索したウィキペディア文書と組み合わせた領土紛争のデータセットであるBordIRLinesを49言語で紹介する。 我々は多言語検索のための複数のモードを定式化することにより、このRAG設定の言語間ロバスト性を評価する。 実験の結果,多様な言語からの視点を取り入れることで,ロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-10-02T01:59:07Z)
• Multi-EuP: The Multilingual European Parliament Dataset for Analysis of Bias in Information Retrieval [62.82448161570428]
  このデータセットは、多言語情報検索コンテキストにおける公平性を調べるために設計されている。 真正な多言語コーパスを持ち、24言語すべてに翻訳されたトピックを特徴としている。 文書に関連する豊富な人口統計情報を提供し、人口統計バイアスの研究を容易にする。
  論文  参考訳（メタデータ） (2023-11-03T12:29:11Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。