論文の概要: Cross-Language Bias Examination in Large Language Models
- arxiv url: http://arxiv.org/abs/2512.16029v1
- Date: Wed, 17 Dec 2025 23:22:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-19 18:10:31.849681
- Title: Cross-Language Bias Examination in Large Language Models
- Title(参考訳): 大規模言語モデルにおける言語横断バイアス検査
- Authors: Yuxuan Liang, Marwa Mahmoud,
- Abstract要約: 本研究では,大規模言語モデルにおけるバイアス評価のための,革新的な多言語バイアス評価フレームワークを提案する。
プロンプトと単語リストを5つの対象言語に翻訳することにより、言語間で異なる種類のバイアスを比較する。
例えば、アラビア語とスペイン語はステレオタイプバイアスのレベルが常に高く、中国語と英語はバイアスのレベルが低い。
- 参考スコア(独自算出の注目度): 37.21579885190632
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study introduces an innovative multilingual bias evaluation framework for assessing bias in Large Language Models, combining explicit bias assessment through the BBQ benchmark with implicit bias measurement using a prompt-based Implicit Association Test. By translating the prompts and word list into five target languages, English, Chinese, Arabic, French, and Spanish, we directly compare different types of bias across languages. The results reveal substantial gaps in bias across languages used in LLMs. For example, Arabic and Spanish consistently show higher levels of stereotype bias, while Chinese and English exhibit lower levels of bias. We also identify contrasting patterns across bias types. Age shows the lowest explicit bias but the highest implicit bias, emphasizing the importance of detecting implicit biases that are undetectable with standard benchmarks. These findings indicate that LLMs vary significantly across languages and bias dimensions. This study fills a key research gap by providing a comprehensive methodology for cross-lingual bias analysis. Ultimately, our work establishes a foundation for the development of equitable multilingual LLMs, ensuring fairness and effectiveness across diverse languages and cultures.
- Abstract(参考訳): 本研究では,大規模言語モデルにおけるバイアス評価のための革新的多言語バイアス評価フレームワークを導入し,BBQベンチマークによる明示的バイアス評価と,プロンプトベースのImplicit Association Testを用いた暗黙的バイアス測定を組み合わせた。
プロンプトと単語リストを英語、中国語、アラビア語、フランス語、スペイン語の5つのターゲット言語に翻訳することで、言語間で異なる種類のバイアスを直接比較する。
その結果、LLMで使用される言語間でのバイアスのかなりのギャップが明らかとなった。
例えば、アラビア語とスペイン語はステレオタイプバイアスのレベルが常に高く、中国語と英語はバイアスのレベルが低い。
また、バイアスタイプにまたがるコントラストパターンを特定します。
年齢は、最も低い明示バイアスを示すが、最も高い暗黙バイアスは、標準ベンチマークでは検出できない暗黙バイアスを検出することの重要性を強調している。
これらの結果から,LLMは言語やバイアス次元によって大きく異なることが示唆された。
本研究は,言語間バイアス分析のための包括的方法論を提供することによって,重要な研究ギャップを埋める。
最終的に、我々の研究は、多様な言語や文化にまたがる公正性と有効性を確保するため、公平な多言語LLMの開発のための基盤を確立します。
関連論文リスト
- Delving into Multilingual Ethical Bias: The MSQAD with Statistical Hypothesis Tests for Large Language Models [7.480124826347168]
本稿では,世界規模で議論され,潜在的にセンシティブなトピックに対するLLMの倫理的バイアスの妥当性と比較について検討する。
我々は、Human Rights Watchから17のトピックに関するニュース記事を収集し、複数の言語で対応する回答とともに、社会的に敏感な質問を生成した。
我々は2つの統計的仮説テストを用いて、これらの応答のバイアスを言語やトピックにわたって精査した。
論文 参考訳(メタデータ) (2025-05-25T12:25:44Z) - Beyond Early-Token Bias: Model-Specific and Language-Specific Position Effects in Multilingual LLMs [50.07451351559251]
我々は,5言語(英語,ロシア語,ドイツ語,ヒンディー語,ベトナム語)にまたがる調査を行った。
位置バイアスが即時戦略とどのように相互作用し、出力エントロピーに影響を及ぼすかを検討する。
論文 参考訳(メタデータ) (2025-05-22T02:23:00Z) - Assessing Agentic Large Language Models in Multilingual National Bias [31.67058518564021]
推論に基づくレコメンデーションにおける言語間の格差はほとんど未解明のままである。
この研究は、このギャップに最初に対処する。
複数の言語にわたる意思決定タスクに対する応答を解析することにより、最先端のLLMにおける多言語バイアスについて検討する。
論文 参考訳(メタデータ) (2025-02-25T08:07:42Z) - White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs [58.27353205269664]
社会的バイアスは、Large Language Model(LLM)生成コンテンツにおいて言語エージェンシーに現れる。
LLMのバイアスを包括的に評価するLanguage Agency Bias Evaluationベンチマークを導入する。
LABEを用いて,近年の3つのLLM(ChatGPT,Llama3,Mistral)における言語エージェントの社会的バイアスを明らかにした。
論文 参考訳(メタデータ) (2024-04-16T12:27:54Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z) - Comparing Biases and the Impact of Multilingual Training across Multiple
Languages [70.84047257764405]
ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。
我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。
以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
論文 参考訳(メタデータ) (2023-05-18T18:15:07Z) - An Analysis of Social Biases Present in BERT Variants Across Multiple
Languages [0.0]
多様な言語からなる単言語BERTモデルにおけるバイアスについて検討する。
文の擬似類似度に基づいて,任意のバイアスを測定するテンプレートベースの手法を提案する。
偏見探索の現在の手法は言語に依存していると結論付けている。
論文 参考訳(メタデータ) (2022-11-25T23:38:08Z) - Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。
我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
論文 参考訳(メタデータ) (2020-05-02T04:34:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。