論文の概要: Discrimination by LLMs: Cross-lingual Bias Assessment and Mitigation in Decision-Making and Summarisation

• arxiv url: http://arxiv.org/abs/2509.09735v1
• Date: Wed, 10 Sep 2025 14:25:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-15 16:03:07.869296
• Title: Discrimination by LLMs: Cross-lingual Bias Assessment and Mitigation in Decision-Making and Summarisation
• Title（参考訳）: LLMによる識別:意思決定・要約における言語間バイアス評価と緩和
• Authors: Willem Huijzer, Jieying Chen,
• Abstract要約: 大規模言語モデル(LLM)の様々な領域への迅速な統合は、社会的不平等と情報バイアスに関する懸念を提起する。 本研究では, 背景, 性別, 年齢に関連するLCMのバイアスについて検討し, 意思決定や要約作業への影響に着目した。 GPT-3.5 および GPT-4o では, 種々の人口動態, 指示, サリエンスレベル, 言語が試験された。
• 参考スコア（独自算出の注目度）: 0.19336815376402716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid integration of Large Language Models (LLMs) into various domains raises concerns about societal inequalities and information bias. This study examines biases in LLMs related to background, gender, and age, with a focus on their impact on decision-making and summarization tasks. Additionally, the research examines the cross-lingual propagation of these biases and evaluates the effectiveness of prompt-instructed mitigation strategies. Using an adapted version of the dataset by Tamkin et al. (2023) translated into Dutch, we created 151,200 unique prompts for the decision task and 176,400 for the summarisation task. Various demographic variables, instructions, salience levels, and languages were tested on GPT-3.5 and GPT-4o. Our analysis revealed that both models were significantly biased during decision-making, favouring female gender, younger ages, and certain backgrounds such as the African-American background. In contrast, the summarisation task showed minimal evidence of bias, though significant age-related differences emerged for GPT-3.5 in English. Cross-lingual analysis showed that bias patterns were broadly similar between English and Dutch, though notable differences were observed across specific demographic categories. The newly proposed mitigation instructions, while unable to eliminate biases completely, demonstrated potential in reducing them. The most effective instruction achieved a 27\% mean reduction in the gap between the most and least favorable demographics. Notably, contrary to GPT-3.5, GPT-4o displayed reduced biases for all prompts in English, indicating the specific potential for prompt-based mitigation within newer models. This research underscores the importance of cautious adoption of LLMs and context-specific bias testing, highlighting the need for continued development of effective mitigation strategies to ensure responsible deployment of AI.
• Abstract（参考訳）: 大規模言語モデル(LLM)の様々な領域への迅速な統合は、社会的不平等と情報バイアスに関する懸念を提起する。 本研究では, 背景, 性別, 年齢に関連するLCMのバイアスについて検討し, 意思決定や要約作業への影響に着目した。 さらに,これらのバイアスの言語間伝播について検討し,迅速な緩和戦略の有効性について検討した。 Tamkin et al (2023) がオランダ語に翻訳したデータセットの適応版を使用して、決定タスクのための151,200のユニークなプロンプトと、要約タスクのための176,400のユニークなプロンプトを作成しました。 GPT-3.5 および GPT-4o では, 種々の人口動態, 指示, サリエンスレベル, 言語が試験された。 分析の結果,両モデルとも意思決定において有意な偏りがみられ,女性性,若年者,アフリカ系アメリカ人の背景などの背景がみられた。 一方、要約作業はバイアスの最小限の証拠を示したが、英語のGPT-3.5では有意な年齢差がみられた。 言語横断分析の結果、偏見パターンは英語とオランダ語で大きく類似していたが、特定のカテゴリーで顕著な違いが見られた。 新たに提案された緩和命令は、バイアスを完全に排除できないが、それらを減らす可能性を示した。 最も効果的な教育は、最も好ましくない人口間のギャップを平均27 %削減した。 特に、GPT-3.5とは対照的に、GPT-4oは英語のすべてのプロンプトに対するバイアスを減少させ、新しいモデルにおけるプロンプトに基づく緩和の可能性を示した。 この研究は、LLMの慎重な採用とコンテキスト固有のバイアステストの重要性を強調し、AIの責任ある展開を保証するための効果的な緩和戦略の継続的な開発の必要性を強調している。

関連論文リスト

• Mitigating Subgroup Disparities in Multi-Label Speech Emotion Recognition: A Pseudo-Labeling and Unsupervised Learning Approach [53.824673312331626]
  Implicit Demography Inference (IDI)モジュールは、k平均クラスタリングを用いて、音声感情認識(SER)におけるバイアスを軽減する 実験により、擬似ラベルIDIはサブグループの格差を減らし、フェアネスの指標を28%以上改善することが示された。 教師なしのIDIは、SERのパフォーマンスが3.6%未満のフェアネス指標を4.6%以上改善する。
  論文  参考訳（メタデータ） (2025-05-20T14:50:44Z)
• Assessing Agentic Large Language Models in Multilingual National Bias [31.67058518564021]
  推論に基づくレコメンデーションにおける言語間の格差はほとんど未解明のままである。 この研究は、このギャップに最初に対処する。 複数の言語にわたる意思決定タスクに対する応答を解析することにより、最先端のLLMにおける多言語バイアスについて検討する。
  論文  参考訳（メタデータ） (2025-02-25T08:07:42Z)
• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• Large Language Models Still Exhibit Bias in Long Text [14.338308312117901]
  大規模言語モデルにおけるバイアスを評価するフレームワークであるLong Text Fairness Test (LTF-TEST)を紹介する。 LTF-TESTはモデル応答とそれらの背後にある推論の両方を評価することで、単純な応答では検出が難しい微妙なバイアスを明らかにする。 FT-REGARD(FT-REGARD)を提案する。
  論文  参考訳（メタデータ） (2024-10-23T02:51:33Z)
• White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs [58.27353205269664]
  社会的バイアスは、Large Language Model(LLM)生成コンテンツにおいて言語エージェンシーに現れる。 LLMのバイアスを包括的に評価するLanguage Agency Bias Evaluationベンチマークを導入する。 LABEを用いて,近年の3つのLLM(ChatGPT,Llama3,Mistral)における言語エージェントの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias [33.99768156365231]
  生成言語モデルにおけるバイアス測定のための因果的定式化を導入する。 我々はOccuGenderというベンチマークを提案し、職業性バイアスを調査するためのバイアス測定手法を提案する。 以上の結果から,これらのモデルでは職業性バイアスがかなり大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T22:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。