論文の概要: Discrepancy Detection at the Data Level: Toward Consistent Multilingual Question Answering
- arxiv url: http://arxiv.org/abs/2510.11928v1
- Date: Mon, 13 Oct 2025 20:48:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-15 19:02:32.093482
- Title: Discrepancy Detection at the Data Level: Toward Consistent Multilingual Question Answering
- Title(参考訳): データレベルでの不一致検出:一貫性のある多言語質問回答に向けて
- Authors: Lorena Calvo-Bartolomé, Valérie Aldana, Karla Cantarero, Alonso Madroñal de Mesa, Jerónimo Arenas-García, Jordan Boyd-Graber,
- Abstract要約: 我々は,多言語QA知識ベースにおける事実・文化的相違を検出するために,ループ内ファクトチェックパイプラインであるMINDを提案する。
MINDは、地域や文脈によって異なる文化的にセンシティブな質問に対する多様な答えを強調している。
MINDを母子保健領域におけるバイリンガルQAシステムを用いて評価し,事実的・文化的矛盾に言及したバイリンガル質問のデータセットを公表した。
- 参考スコア(独自算出の注目度): 4.724569611822116
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilingual question answering (QA) systems must ensure factual consistency across languages, especially for objective queries such as What is jaundice?, while also accounting for cultural variation in subjective responses. We propose MIND, a user-in-the-loop fact-checking pipeline to detect factual and cultural discrepancies in multilingual QA knowledge bases. MIND highlights divergent answers to culturally sensitive questions (e.g., Who assists in childbirth?) that vary by region and context. We evaluate MIND on a bilingual QA system in the maternal and infant health domain and release a dataset of bilingual questions annotated for factual and cultural inconsistencies. We further test MIND on datasets from other domains to assess generalization. In all cases, MIND reliably identifies inconsistencies, supporting the development of more culturally aware and factually consistent QA systems.
- Abstract(参考訳): マルチ言語質問応答 (QA) システムは言語間の事実整合性を確保する必要がある。
また,主観的反応の文化的変動も考慮に入れた。
我々は,多言語QA知識ベースにおける事実・文化的相違を検出するために,ループ内ファクトチェックパイプラインであるMINDを提案する。
MINDは、地域や文脈によって異なる文化的に敏感な質問(例えば、出産を助けるのは誰か?
MINDを母子保健領域におけるバイリンガルQAシステムを用いて評価し,事実的・文化的矛盾に言及したバイリンガル質問のデータセットを公表した。
一般化を評価するために、他のドメインからのデータセット上でMINDをさらにテストする。
いずれの場合も、MINDは不整合を確実に識別し、より文化的に認識され、事実的に一貫性のあるQAシステムの開発を支援する。
関連論文リスト
- Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation [71.59208664920452]
多言語データセットの文化的バイアスは、グローバルベンチマークとしての有効性に重大な課題をもたらす。
MMLUの進歩は西洋中心の概念の学習に大きく依存しており、文化に敏感な知識を必要とする質問の28%がそうである。
改良されたMMLUであるGlobal MMLUをリリースし,42言語を対象に評価を行った。
論文 参考訳(メタデータ) (2024-12-04T13:27:09Z) - CaLMQA: Exploring culturally specific long-form question answering across 23 languages [58.18984409715615]
CaLMQAは、文化的に異なる23言語にわたる51.7Kの質問のデータセットである。
我々は,LLM生成長文回答の事実性,関連性,表面品質を評価する。
論文 参考訳(メタデータ) (2024-06-25T17:45:26Z) - CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。
CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。
CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
論文 参考訳(メタデータ) (2024-06-10T01:59:00Z) - Investigating Information Inconsistency in Multilingual Open-Domain
Question Answering [18.23417521199809]
検索バイアスに着目した多言語開領域質問応答モデルの振る舞いを解析する。
言語間での文書の内容の違いは、文化的な相違や社会的偏見を反映しているのではないかと推測する。
論文 参考訳(メタデータ) (2022-05-25T02:58:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。