論文の概要: FairI Tales: Evaluation of Fairness in Indian Contexts with a Focus on Bias and Stereotypes

• arxiv url: http://arxiv.org/abs/2506.23111v1
• Date: Sun, 29 Jun 2025 06:31:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.723005
• Title: FairI Tales: Evaluation of Fairness in Indian Contexts with a Focus on Bias and Stereotypes
• Title（参考訳）: FairI Tales:Biasとステレオタイプに着目したインドの文脈におけるフェアネスの評価
• Authors: Janki Atul Nawale, Mohammed Safi Ur Rahman Khan, Janani D, Mansi Gupta, Danish Pruthi, Mitesh M. Khapra,
• Abstract要約: フェアネスに関する既存の研究は、主に西洋に焦点を絞っており、インドのような文化的に多様な国では不十分である。 インドを中心とした総合的なベンチマークであるINDIC-BIASを導入し,85の社会アイデンティティグループを対象としたLCMの公平性を評価する。
• 参考スコア（独自算出の注目度）: 23.71105683137539
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing studies on fairness are largely Western-focused, making them inadequate for culturally diverse countries such as India. To address this gap, we introduce INDIC-BIAS, a comprehensive India-centric benchmark designed to evaluate fairness of LLMs across 85 identity groups encompassing diverse castes, religions, regions, and tribes. We first consult domain experts to curate over 1,800 socio-cultural topics spanning behaviors and situations, where biases and stereotypes are likely to emerge. Grounded in these topics, we generate and manually validate 20,000 real-world scenario templates to probe LLMs for fairness. We structure these templates into three evaluation tasks: plausibility, judgment, and generation. Our evaluation of 14 popular LLMs on these tasks reveals strong negative biases against marginalized identities, with models frequently reinforcing common stereotypes. Additionally, we find that models struggle to mitigate bias even when explicitly asked to rationalize their decision. Our evaluation provides evidence of both allocative and representational harms that current LLMs could cause towards Indian identities, calling for a more cautious usage in practical applications. We release INDIC-BIAS as an open-source benchmark to advance research on benchmarking and mitigating biases and stereotypes in the Indian context.
• Abstract（参考訳）: フェアネスに関する既存の研究は、主に西洋に焦点を絞っており、インドのような文化的に多様な国では不十分である。 このギャップに対処するため、インド中心の総合ベンチマークであるINDIC-BIASを導入し、多様なキャスト、宗教、地域、部族を含む85のアイデンティティグループにわたるLCMの公平性を評価する。 まずドメインの専門家に、バイアスやステレオタイプが出現しそうな行動や状況にまたがる1,800以上の社会文化的トピックを治療するよう相談する。 これらのトピックに基づいて,2万の現実シナリオテンプレートを生成し,手動で検証し,公平性を求める。 これらのテンプレートを,妥当性,判断,生成の3つの評価タスクに構成する。 これらの課題に対する14のLLMの評価は, モデルがしばしば共通ステレオタイプを補強する中で, 正の正の正の正の偏りを呈する。 さらに、モデルがその決定を合理化するよう明示的に要求しても、バイアスを軽減するのに苦労していることも分かっています。 我々の評価は、現在のLLMがインドのアイデンティティにもたらす、割当的および表現的害の証拠を提供し、実用的な応用においてより慎重な使用を要求している。 我々はINDIC-BIASをオープンソースのベンチマークとしてリリースし、インドの文脈におけるバイアスやステレオタイプをベンチマークし緩和する研究を進める。

関連論文リスト

• DECASTE: Unveiling Caste Stereotypes in Large Language Models through Multi-Dimensional Bias Analysis [20.36241144630387]
  大規模言語モデル (LLM) は自然言語処理 (NLP) に革命をもたらした。 LLMは、民族、性別、宗教に基づくものなど、有害な社会的偏見を反映し、永続することが示されている。 我々は,LLMにおける暗黙的および明示的なキャストバイアスを検知し,評価するための新しいフレームワークであるDECASTEを提案する。
  論文  参考訳（メタデータ） (2025-05-20T23:19:13Z)
• Sometimes the Model doth Preach: Quantifying Religious Bias in Open LLMs through Demographic Analysis in Asian Nations [8.769839351949997]
  大きな言語モデル(LLM)は、意見を生成し、バイアスを無意識に伝播することができる。 本研究は,LLMが生み出す意見を定量的に分析する手法を提案する。 Llama や Mistral のような近代的でオープンな LLM を世界各国で実施した調査で評価した。
  論文  参考訳（メタデータ） (2025-03-10T16:32:03Z)
• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  我々は、LVLM(Large Vision-Language Models)におけるバイアスを評価するベンチマークであるVLBiasBenchを紹介する。 VLBiasBenchは、年齢、障害ステータス、性別、国籍、身体的外観、人種、宗教、職業、社会経済ステータスを含む9つの異なる社会バイアスのカテゴリを含むデータセットと、人種x性別と人種x社会経済ステータスの2つの交叉バイアスのカテゴリを含む。 15のオープンソースモデルと2つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルに存在するバイアスに関する新たな洞察を得る。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。 心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。 提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Indian-BhED: A Dataset for Measuring India-Centric Biases in Large Language Models [18.201326983938014]
  大規模言語モデル(LLM)は社会的バイアスを符号化し、ユーザを表現上の害に晒す。 本研究は,LLMにおけるステレオタイプバイアスを,そのタイプデータセットであるIndian-BhEDを用いて,インド中心のフレームに従って定量化する。 テストされたLLMの大多数は、インドの文脈でステレオタイプを出力する確率が強いことが判明した。
  論文  参考訳（メタデータ） (2023-09-15T17:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。