論文の概要: Scalable and Culturally Specific Stereotype Dataset Construction via Human-LLM Collaboration

• arxiv url: http://arxiv.org/abs/2607.07895v1
• Date: Wed, 08 Jul 2026 20:06:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.335976
• Title: Scalable and Culturally Specific Stereotype Dataset Construction via Human-LLM Collaboration
• Title（参考訳）: 人間-LLM協調によるスケーラブルで文化的に特異なステレオタイプデータセットの構築
• Abstract要約: EspanStereoは、ヨーロッパとラテンアメリカにまたがる複数のスペイン語圏にまたがるスペイン語のステレオタイプデータセットである。 我々のフレームワークは他の言語やリージョンにも適用可能であり、多言語ステレオタイプベンチマークへのスケーラブルなパスを提供する。 本研究は,大規模言語モデルにおけるステレオタイプ分析の範囲を広げ,総合的な文化的偏見評価の基盤となる。
• 参考スコア（独自算出の注目度）: 36.09273812207085
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Research on stereotypes in large language models (LLMs) has largely focused on English-speaking contexts, due to the lack of datasets in other languages and the high cost of manual annotation in underrepresented cultures. To address this gap, we introduce a cost-efficient human-LLM collaborative annotation framework and apply it to construct EspanStereo, a Spanish-language stereotype dataset spanning multiple Spanish-speaking countries across Europe and Latin America. EspanStereo captures both well-documented stereotypes from prior literature and culturally specific biases absent from English-centric resources. Using LLMs to generate candidate stereotypes and in-culture annotators to validate them, we demonstrate the framework's effectiveness in identifying nuanced, region-specific biases. Our evaluation of Spanish-supporting LLMs using EspanStereo reveals significant variation in stereotypical behavior across countries, highlighting the need for more culturally grounded assessments. Beyond Spanish, our framework is adaptable to other languages and regions, offering a scalable path toward multilingual stereotype benchmarks. This work broadens the scope of stereotype analysis in LLMs and lays the groundwork for comprehensive cross-cultural bias evaluation.
• Abstract（参考訳）: 大規模言語モデル(LLM)におけるステレオタイプの研究は、他の言語におけるデータセットの欠如と、表現不足な文化における手動アノテーションのコストの高さから、主に英語の文脈に焦点を当てている。 このギャップに対処するために、コスト効率のよい人-LLM協調アノテーションフレームワークを導入し、ヨーロッパとラテンアメリカにまたがるスペイン語のステレオタイプデータセットであるEspanStereoの構築に適用する。 EspanStereoは、以前の文献からよく文書化されたステレオタイプと、英語中心のリソースから欠落した文化的に特定のバイアスの両方を捉えている。 LLMを用いて、候補ステレオタイプと培養中のアノテータを生成し、それらを検証し、ニュアンス、地域固有のバイアスを識別するフレームワークの有効性を実証する。 EspanStereo を用いたスペイン支援 LLM の評価は、各国のステレオタイプ的行動に顕著な変化を示し、より文化的に根ざした評価の必要性を浮き彫りにした。 スペイン語以外にも、私たちのフレームワークは他の言語やリージョンにも適用可能で、多言語ステレオタイプベンチマークへのスケーラブルなパスを提供しています。 本研究は, LLMにおけるステレオタイプ分析の範囲を広げ, 総合的な文化的偏見評価の基盤となる。

関連論文リスト

• Multilinguality of Large Language Models From a Structural Perspective [55.097821802807566]
  大規模言語モデル(LLM)は、多言語データに対する事前および後訓練によって複数の言語を処理するのに優れている。 その結果,低リソース言語は高水準言語や中級言語と構造的に異なることが明らかとなった。
  論文  参考訳（メタデータ） (2026-06-01T07:18:09Z)
• BIASEDTALES-ML: A Multilingual Dataset for Analyzing Narrative Attribute Distributions in LLM-Generated Stories [38.36264873832655]
  BiasedTales-MLは8つの類型的および文化的に多様な言語で生成される約35万の児童話からなる大規模並列コーパスである。 分析の結果,ナラティブ生成パターンの言語間差異は顕著であり,英語で観察される分布が他の言語と類似した特徴を示すとは限らないことが示唆された。 これらの知見は、多言語環境下での社会的基盤の物語生成を特徴付けるための英語中心評価の限界を浮き彫りにした。
  論文  参考訳（メタデータ） (2026-04-18T14:39:15Z)
• MMA-ASIA: A Multilingual and Multimodal Alignment Framework for Culturally-Grounded Evaluation [91.22008265721952]
  MMA-ASIAは、アジア8か国と10か国を対象とする人為的、多言語的、マルチモーダルなベンチマークに重点を置いている。 これは、テキスト、画像(視覚的質問応答)、音声の3つのモードにまたがる入力レベルで整列された最初のデータセットである。 i) 国間の文化的認識格差、(ii) 言語間の整合性、(iii) 言語間の整合性、(iv) 文化知識の一般化、(v) 基礎的妥当性を評価する5次元評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2025-10-07T14:12:12Z)
• SESGO: Spanish Evaluation of Stereotypical Generative Outputs [1.1549572298362782]
  本稿では,多言語大言語モデル(LLM)におけるバイアス評価における限界ギャップについて論じる。 現在の評価は、主に米国英語中心であり、他の言語や文化の文脈で潜在的に危害が及ばないままである。 教科学習における社会的偏見を検出するための,新しい文化的な枠組みを提案する。
  論文  参考訳（メタデータ） (2025-09-03T14:04:51Z)
• MyCulture: Exploring Malaysia's Diverse Culture under Low-Resource Language Constraints [7.822567458977689]
  MyCultureは、マレーシアの文化に関する大規模言語モデル(LLM)を総合的に評価するために設計されたベンチマークである。 従来のベンチマークとは異なり、MyCultureは未定義のオプションなしで、新しいオープンエンドの複数選択質問フォーマットを採用している。 構造化された出力と自由形式出力のモデル性能を比較して構造バイアスを解析し、多言語的プロンプト変動による言語バイアスを評価する。
  論文  参考訳（メタデータ） (2025-08-07T14:17:43Z)
• Disentangling Language and Culture for Evaluating Multilingual Large Language Models [48.06219053598005]
  本稿では,LLMの多言語機能を包括的に評価するデュアル評価フレームワークを提案する。 言語媒体と文化的文脈の次元に沿って評価を分解することにより、LLMが言語間を横断的に処理する能力の微妙な分析を可能にする。
  論文  参考訳（メタデータ） (2025-05-30T14:25:45Z)
• High-Dimensional Interlingual Representations of Large Language Models [65.77317753001954]
  大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。 資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。 多言語 LLM は非一貫性な言語間アライメントを示す。
  論文  参考訳（メタデータ） (2025-03-14T10:39:27Z)
• BanStereoSet: A Dataset to Measure Stereotypical Social Biases in LLMs for Bangla [0.0]
  本研究は,バングラ語用多言語LLMにおけるステレオタイプ的社会的バイアスを評価するためのデータセットであるBanStereoSetを提示する。 私たちのデータセットは、人種、職業、性別、年齢、職業の美しさ、地域、カースト、宗教の9つのカテゴリーにまたがる1,194の文で構成されています。
  論文  参考訳（メタデータ） (2024-09-18T02:02:30Z)
• SeeGULL Multilingual: a Dataset of Geo-Culturally Situated Stereotypes [18.991295993710224]
  SeeGULLは、20の言語にまたがって、23のリージョンにわたる人間のアノテーションを備えた、グローバルにスケールした、ソーシャルステレオタイプの多言語データセットである。
  論文  参考訳（メタデータ） (2024-03-08T22:09:58Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。