論文の概要: MBBQ: A Dataset for Cross-Lingual Comparison of Stereotypes in Generative LLMs
- arxiv url: http://arxiv.org/abs/2406.07243v2
- Date: Tue, 18 Jun 2024 15:33:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-20 01:05:59.627463
- Title: MBBQ: A Dataset for Cross-Lingual Comparison of Stereotypes in Generative LLMs
- Title（参考訳）: MBBQ: 生成LDMにおけるステレオタイプ間比較用データセット
- Authors: Vera Neplenbroek, Arianna Bisazza, Raquel Fernández,
- Abstract要約: 生成的大規模言語モデル(LLM)は有害なバイアスやステレオタイプを示すことが示されている。
MBBQは、オランダ語、スペイン語、トルコ語でよく見られるステレオタイプを測定するデータセットである。
その結果、文化的な変化を抑えながら、英語以外の言語では、英語よりも偏見に悩まされていることが確認された。
- 参考スコア（独自算出の注目度）: 6.781972039785424
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative large language models (LLMs) have been shown to exhibit harmful biases and stereotypes. While safety fine-tuning typically takes place in English, if at all, these models are being used by speakers of many different languages. There is existing evidence that the performance of these models is inconsistent across languages and that they discriminate based on demographic factors of the user. Motivated by this, we investigate whether the social stereotypes exhibited by LLMs differ as a function of the language used to prompt them, while controlling for cultural differences and task accuracy. To this end, we present MBBQ (Multilingual Bias Benchmark for Question-answering), a carefully curated version of the English BBQ dataset extended to Dutch, Spanish, and Turkish, which measures stereotypes commonly held across these languages. We further complement MBBQ with a parallel control dataset to measure task performance on the question-answering task independently of bias. Our results based on several open-source and proprietary LLMs confirm that some non-English languages suffer from bias more than English, even when controlling for cultural shifts. Moreover, we observe significant cross-lingual differences in bias behaviour for all except the most accurate models. With the release of MBBQ, we hope to encourage further research on bias in multilingual settings. The dataset and code are available at https://github.com/Veranep/MBBQ.
- Abstract（参考訳）: 生成的大規模言語モデル(LLM)は有害なバイアスやステレオタイプを示すことが示されている。
安全性の微調整は通常英語で行われているが、少なくともこれらのモデルは様々な言語の話者によって使用されている。
これらのモデルの性能は言語間で矛盾しておらず、ユーザの人口統計学的要因に基づいて識別されているという証拠は存在する。
そこで我々は, LLMが提示する社会的ステレオタイプが, 文化的差異やタスク精度を制御しつつ, それらを促進するために使用する言語の機能として異なるか否かを考察した。
MBBQ(Multilingual Bias Benchmark for Question-Awering)は、オランダ語、スペイン語、トルコ語に拡張された英語のBBQデータセットを慎重にキュレートしたバージョンで、これらの言語に共通するステレオタイプを測定する。
さらにMBBQを並列制御データセットで補完し、偏りによらず質問応答タスクにおけるタスク性能を計測する。
いくつかのオープンソースおよびプロプライエタリなLCMをベースとした研究結果から,一部の非英語言語は,文化的な変化を抑えつつも,英語よりも偏見に悩まされていることが確認された。
さらに、最も正確なモデルを除いて、バイアス行動の言語間差が顕著に観察される。
MBBQのリリースにより、多言語環境におけるバイアスのさらなる研究が望まれる。
データセットとコードはhttps://github.com/Veranep/MBBQ.comで公開されている。
関連論文リスト
- CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。
CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。
CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
論文 参考訳（メタデータ） (2024-06-10T01:59:00Z) - The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。
実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。
我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
論文 参考訳（メタデータ） (2024-05-02T14:49:50Z) - Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。
多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。
以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
論文 参考訳（メタデータ） (2024-01-29T12:02:28Z) - Question Translation Training for Better Multilingual Reasoning [108.10066378240879]
大規模言語モデルは推論タスクにおいて魅力的なパフォーマンスを示すが、英語以外の言語ではより悪いパフォーマンスを示す傾向がある。
典型的な解決策は、命令データを興味のあるすべての言語に翻訳し、結果の多言語データをトレーニングすることである。
本稿では,X- English parallel question dataを微調整することで,推論する質問を英語に翻訳するモデルを訓練する。
論文 参考訳（メタデータ） (2024-01-15T16:39:10Z) - The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。
このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
論文 参考訳（メタデータ） (2023-08-31T17:43:08Z) - Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
既存の大きな言語モデルは、異なる言語間で異なる能力を示す。
本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
論文 参考訳（メタデータ） (2023-08-09T13:32:06Z) - KoBBQ: Korean Bias Benchmark for Question Answering [28.091808407408823]
Bias Benchmark for Question Answering (BBQ)は、言語モデル(LM)の社会的バイアスを評価するように設計されている。
韓国のバイアスベンチマークデータセットであるKoBBQを紹介する。
本稿では,データセットの文化的適応を考慮に入れた一般的な枠組みを提案する。
論文 参考訳（メタデータ） (2023-07-31T15:44:15Z) - How Different Is Stereotypical Bias Across Languages? [1.0467550794914122]
近年の研究では、事前学習した英語モデルのステレオタイプバイアスを評価する方法が実証されている。
我々は、英語のStereoSetデータセット(Nadeem et al., 2021)を半自動でドイツ語、フランス語、スペイン語、トルコ語に翻訳する。
分析から得られた主な特徴は、mGPT-2は言語間で驚くべき反ステレオタイプ行動を示し、英語(モノリンガル)モデルは最も強いバイアスを示し、データセットに反映されるステレオタイプはトルコのモデルにはほとんど存在しないということである。
論文 参考訳（メタデータ） (2023-07-14T13:17:11Z) - Language-Agnostic Bias Detection in Language Models with Bias Probing [22.695872707061078]
プレトレーニング言語モデル(PLM)はNLPの主要な構成要素であるが、強い社会的バイアスを含んでいる。
本研究では,PAMにおける社会的バイアスを頑健かつ言語に依存しない方法で評価するための,LABDetと呼ばれるバイアス探索手法を提案する。
歴史的・政治的文脈に整合した6つの言語において,一貫した民族性バイアスパターンがモノリンガル PLM にまたがっていることがわかった。
論文 参考訳（メタデータ） (2023-05-22T17:58:01Z) - Gender Bias in Masked Language Models for Multiple Languages [31.528949172210233]
本稿では,英語属性単語リストと並列コーパスのみを用いて,様々な言語のバイアス評価を行うため,バイアス評価スコア(MBE)を提案する。
MBEを用いて8言語における偏見を評価し, 性別関連偏見がすべての言語に対して属性語にエンコードされていることを確認した。
論文 参考訳（メタデータ） (2022-05-01T20:19:14Z) - MuCoT: Multilingual Contrastive Training for Question-Answering in
Low-resource Languages [4.433842217026879]
マルチ言語BERTベースのモデル(mBERT)は、高ソース言語から低リソース言語への知識伝達にしばしば使用される。
対象言語のQAサンプルを他の言語に翻訳し,mBERTベースのQAモデルを微調整するために拡張データを使用する。
Google ChAIIデータセットの実験では、mBERTモデルを同じ言語ファミリーからの翻訳で微調整することで、質問応答のパフォーマンスが向上することが示された。
論文 参考訳（メタデータ） (2022-04-12T13:52:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。