論文の概要: SESGO: Spanish Evaluation of Stereotypical Generative Outputs

• arxiv url: http://arxiv.org/abs/2509.03329v1
• Date: Wed, 03 Sep 2025 14:04:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 21:40:46.540786
• Title: SESGO: Spanish Evaluation of Stereotypical Generative Outputs
• Title（参考訳）: SESGO: ステレオタイプ生成出力のスペイン語評価
• Authors: Melissa Robles, Catalina Bernal, Denniss Raigoso, Mateo Dulce Rubio,
• Abstract要約: 本稿では,多言語大言語モデル(LLM)におけるバイアス評価における限界ギャップについて論じる。 現在の評価は、主に米国英語中心であり、他の言語や文化の文脈で潜在的に危害が及ばないままである。 教科学習における社会的偏見を検出するための,新しい文化的な枠組みを提案する。
• 参考スコア（独自算出の注目度）: 1.1549572298362782
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper addresses the critical gap in evaluating bias in multilingual Large Language Models (LLMs), with a specific focus on Spanish language within culturally-aware Latin American contexts. Despite widespread global deployment, current evaluations remain predominantly US-English-centric, leaving potential harms in other linguistic and cultural contexts largely underexamined. We introduce a novel, culturally-grounded framework for detecting social biases in instruction-tuned LLMs. Our approach adapts the underspecified question methodology from the BBQ dataset by incorporating culturally-specific expressions and sayings that encode regional stereotypes across four social categories: gender, race, socioeconomic class, and national origin. Using more than 4,000 prompts, we propose a new metric that combines accuracy with the direction of error to effectively balance model performance and bias alignment in both ambiguous and disambiguated contexts. To our knowledge, our work presents the first systematic evaluation examining how leading commercial LLMs respond to culturally specific bias in the Spanish language, revealing varying patterns of bias manifestation across state-of-the-art models. We also contribute evidence that bias mitigation techniques optimized for English do not effectively transfer to Spanish tasks, and that bias patterns remain largely consistent across different sampling temperatures. Our modular framework offers a natural extension to new stereotypes, bias categories, or languages and cultural contexts, representing a significant step toward more equitable and culturally-aware evaluation of AI systems in the diverse linguistic environments where they operate.
• Abstract（参考訳）: 本稿では,多言語大言語モデル(LLM)におけるバイアス評価における重要なギャップについて論じる。 グローバルな展開が広く行われているにもかかわらず、現在の評価は主に米国英語中心であり、他の言語や文化の文脈では潜在的に危害が及ばないままである。 教科学習における社会的偏見を検出するための,新しい文化的な枠組みを提案する。 本手法は,4つの社会的カテゴリー(性別,人種,社会経済的階級,民族的起源)の地域ステレオタイプをエンコードする文化的な表現と言明を取り入れ,BBQデータセットからの未特定質問手法に適応する。 4000以上のプロンプトを用いて、精度と誤差の方向を組み合わせ、曖昧かつ曖昧な両文脈でモデル性能とバイアスアライメントを効果的にバランスさせる新しい指標を提案する。 我々の知る限り、我々の研究は、先進的な商業LLMがスペイン語の文化的に特定のバイアスにどのように反応するかを初めて体系的に評価し、最先端のモデルにまたがる様々なバイアスのパターンを明らかにした。 また、英語に最適化されたバイアス緩和技術は、スペイン語のタスクに効果的に移行せず、様々なサンプリング温度でバイアスパターンがほぼ一致していることを示す。 私たちのモジュラーフレームワークは,新たなステレオタイプやバイアスカテゴリ,あるいは言語や文化のコンテキストへの自然な拡張を提供しています。

関連論文リスト

• Social Bias in Multilingual Language Models: A Survey [5.756606441319472]
  この体系的なレビューは、バイアス評価と緩和アプローチを多言語および非英語の文脈に拡張する新興研究を分析している。 本稿では,言語多様性,文化意識,評価指標の選択,緩和手法について検討する。
  論文  参考訳（メタデータ） (2025-08-27T18:25:32Z)
• MyCulture: Exploring Malaysia's Diverse Culture under Low-Resource Language Constraints [7.822567458977689]
  MyCultureは、マレーシアの文化に関する大規模言語モデル(LLM)を総合的に評価するために設計されたベンチマークである。 従来のベンチマークとは異なり、MyCultureは未定義のオプションなしで、新しいオープンエンドの複数選択質問フォーマットを採用している。 構造化された出力と自由形式出力のモデル性能を比較して構造バイアスを解析し、多言語的プロンプト変動による言語バイアスを評価する。
  論文  参考訳（メタデータ） (2025-08-07T14:17:43Z)
• Disentangling Language and Culture for Evaluating Multilingual Large Language Models [48.06219053598005]
  本稿では,LLMの多言語機能を包括的に評価するデュアル評価フレームワークを提案する。 言語媒体と文化的文脈の次元に沿って評価を分解することにより、LLMが言語間を横断的に処理する能力の微妙な分析を可能にする。
  論文  参考訳（メタデータ） (2025-05-30T14:25:45Z)
• MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs [26.806566827956875]
  MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。 モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。 オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
  論文  参考訳（メタデータ） (2025-05-27T19:29:40Z)
• The Shrinking Landscape of Linguistic Diversity in the Age of Large Language Models [7.811355338367627]
  大規模言語モデル (LLMs) は, 言語多様性の顕著な低下と関係があることが示唆された。 テキストの中核的な内容は、LLMがテキストを洗練・書き直しする際に保持されるが、書体スタイルを均質化するだけでなく、特定の支配的特徴やバイアスを選択的に増幅し、他を抑圧する方法でスタイル的要素を変更することも示している。
  論文  参考訳（メタデータ） (2025-02-16T20:51:07Z)
• Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation [71.59208664920452]
  多言語データセットの文化的バイアスは、グローバルベンチマークとしての有効性に重大な課題をもたらす。 MMLUの進歩は西洋中心の概念の学習に大きく依存しており、文化に敏感な知識を必要とする質問の28%がそうである。 改良されたMMLUであるGlobal MMLUをリリースし,42言語を対象に評価を行った。
  論文  参考訳（メタデータ） (2024-12-04T13:27:09Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。