論文の概要: Location Not Found: Exposing Implicit Local and Global Biases in Multilingual LLMs
- arxiv url: http://arxiv.org/abs/2604.19292v1
- Date: Tue, 21 Apr 2026 09:57:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-22 22:41:49.711005
- Title: Location Not Found: Exposing Implicit Local and Global Biases in Multilingual LLMs
- Title(参考訳): 場所不明:多言語LLMにおける不必要局所的・グローバル的バイアスの抽出
- Authors: Guy Mor-Lan, Omer Goldman, Matan Eyal, Adi Mayrav Gilady, Sivan Eiger, Idan Szpektor, Avinatan Hassidim, Yossi Matias, Reut Tsarfaty,
- Abstract要約: この研究は、局所的曖昧な質問に答えることによって、モデルの言語内および言語内バイアスを定量化することを目的としている。
12言語で2,156の質問を含むテストセットであるLocQAを提案する。
我々は、英語以外の言語でモデルが質問される場合であっても、米国地域に関連する回答に対する世界的偏見を示す。
言語内において、複数の局所が同じ言語に関連がある場合、モデルが人口統計確率エンジンとして機能し、より人口の多い局所を優先することを示す。
- 参考スコア(独自算出の注目度): 35.2977350485249
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilingual large language models (LLMs) have minimized the fluency gap between languages. This advancement, however, exposes models to the risk of biased behavior, as knowledge and norms may propagate across languages. In this work, we aim to quantify models' inter- and intra-lingual biases, via their ability to answer locale-ambiguous questions. To this end, we present LocQA, a test set containing 2,156 questions in 12 languages, referring to various locale-dependent facts such as laws, dates, and measurements. The questions do not contain indications of the locales they relate to, other than the querying language itself. LLMs' responses to LocQA locale-ambiguous questions thus reveal models' implicit priors. We used LocQA to evaluate 32 models, and detected two types of structural biases. Inter-lingually, we show a global bias towards answers relevant to the US-locale, even when models are asked in languages other than English. Moreover, we discovered that this global bias is exacerbated in models that underwent instruction tuning, compared to their base counterparts. Intra-lingually, we show that when multiple locales are relevant for the same language, models act as demographic probability engines, prioritizing locales with larger populations. Taken together, insights from LocQA may help in shaping LLMs' desired local behavior, and in quantifying the impact of various training phases on different kinds of biases.
- Abstract(参考訳): 多言語大言語モデル(LLM)は、言語間の流速ギャップを最小化している。
しかし、この進歩は、知識と規範が言語間で伝播する可能性があるため、偏りのある行動のリスクにモデルを公開する。
本研究では,局所的な疑問に答えることによって,モデル間の偏見と言語内バイアスを定量化することを目的とする。
この目的のために、12言語で2,156の質問を含むテストセットであるLocQAを提案する。
質問には、クエリ言語自体以外の、関係するローカルの表示は含まれていない。
LLMのLocQAローカライズ-曖昧な質問に対する応答は、モデルが暗黙的に先行していることを明らかにする。
我々はLocQAを用いて32種類のモデルを評価し,2種類の構造バイアスを検出した。
言語間においては、英語以外の言語でモデルが問われる場合であっても、米国地域に関連する回答に対する世界的偏見を示す。
さらに、この大域的バイアスは、ベースとなるモデルと比較して、命令チューニングを受けたモデルで悪化することがわかった。
言語内において、複数の局所言語が同じ言語に関係している場合、モデルが人口統計確率エンジンとして機能し、より人口の多い局所言語を優先することを示す。
LocQAの洞察は、LLMの望ましいローカルな振る舞いを形作るのに役立ち、さまざまなトレーニングフェーズがさまざまなバイアスに与える影響を定量化するのに役立ちます。
関連論文リスト
- Linguistic Nepotism: Trading-off Quality for Language Preference in Multilingual RAG [55.258582772528506]
異なる文書言語の混合が意図しない方法で生成と引用に影響を及ぼすかどうかを検討する。
8つの言語と6つのオープンウェイトモデルにまたがって、クエリが英語である場合、モデルは優先的に英語ソースを引用する。
モデルが言語嗜好のトレードオフ文書関連性を示すことがあり、引用選択が情報のみによって常に駆動されるわけではないことが分かる。
論文 参考訳(メタデータ) (2025-09-17T12:58:18Z) - XLQA: A Benchmark for Locale-Aware Multilingual Open-Domain Question Answering [48.913480244527925]
大規模言語モデル (LLM) はオープンドメイン質問応答 (ODQA) において大きな進歩を見せている。
ほとんどの評価は英語に焦点をあて、言語間で局所不変の回答を仮定する。
XLQAは局所感性多言語ODQA用に明示的に設計された新しいベンチマークである。
論文 参考訳(メタデータ) (2025-08-22T07:00:13Z) - Assessing Agentic Large Language Models in Multilingual National Bias [31.67058518564021]
推論に基づくレコメンデーションにおける言語間の格差はほとんど未解明のままである。
この研究は、このギャップに最初に対処する。
複数の言語にわたる意思決定タスクに対する応答を解析することにより、最先端のLLMにおける多言語バイアスについて検討する。
論文 参考訳(メタデータ) (2025-02-25T08:07:42Z) - Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。
Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。
言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
論文 参考訳(メタデータ) (2024-06-28T17:03:51Z) - Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。
しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか?
本研究は,言語横断的タスクにおける最先端LLMの評価である。
論文 参考訳(メタデータ) (2024-06-23T15:15:17Z) - Evaluating the Elementary Multilingual Capabilities of Large Language Models with MultiQ [16.637598165238934]
大規模言語モデル(LLM)は、世界中の英語話者の大多数を含むすべての人にサービスを提供する必要がある。
近年の研究では、意図した用途に制限があるにもかかわらず、多くの言語でLSMを促すことが示されている。
我々は、27.4kのテスト質問に答える基本的なオープンエンド質問のための新しい銀標準ベンチマークであるMultiQを紹介する。
論文 参考訳(メタデータ) (2024-03-06T16:01:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。