論文の概要: Intersectional Bias in Japanese Large Language Models from a Contextualized Perspective
- arxiv url: http://arxiv.org/abs/2506.12327v1
- Date: Sat, 14 Jun 2025 03:30:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-17 17:28:45.805022
- Title: Intersectional Bias in Japanese Large Language Models from a Contextualized Perspective
- Title（参考訳）: 文脈的視点から見た日本語大言語モデルの断面積バイアス
- Authors: Hitomi Yanaka, Xinqi He, Jie Lu, Namgi Han, Sunjin Oh, Ryoma Kumon, Yuma Matsuoka, Katsuhiko Watabe, Yuko Itatsu,
- Abstract要約: 本研究では,大規模言語モデル(LLM)における交叉バイアスを評価するために,JBBQ間ベンチマークを構築した。
社会的属性の等しい組み合わせであっても, バイアス出力は文脈によって異なることがわかった。
- 参考スコア（独自算出の注目度）: 19.168850702678125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An growing number of studies have examined the social bias of rapidly developed large language models (LLMs). Although most of these studies have focused on bias occurring in a single social attribute, research in social science has shown that social bias often occurs in the form of intersectionality -- the constitutive and contextualized perspective on bias aroused by social attributes. In this study, we construct the Japanese benchmark inter-JBBQ, designed to evaluate the intersectional bias in LLMs on the question-answering setting. Using inter-JBBQ to analyze GPT-4o and Swallow, we find that biased output varies according to its contexts even with the equal combination of social attributes.
- Abstract（参考訳）: 急速に発達した大規模言語モデル(LLM)の社会的偏見を調査する研究が増えている。
これらの研究の多くは、単一の社会的属性で生じるバイアスに焦点を当てているが、社会科学の研究は、社会的バイアスは、しばしば交叉性(英語版)の形で起こることを示しており、社会的属性によって引き起こされるバイアスに関する構成的で文脈化された視点である。
本研究では,質問応答環境におけるLLMの交叉バイアスを評価するために,日本語のJBBQ間ベンチマークを構築した。
JBBQ による GPT-4o と Swallow の分析により,社会的属性の等しい組み合わせであっても,その文脈によってバイアス出力が変化することがわかった。
関連論文リスト
- VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
我々は、LVLM(Large Vision-Language Models)におけるバイアスを評価するベンチマークであるVLBiasBenchを紹介する。
VLBiasBenchは、年齢、障害ステータス、性別、国籍、身体的外観、人種、宗教、職業、社会経済ステータスを含む9つの異なる社会バイアスのカテゴリを含むデータセットと、人種x性別と人種x社会経済ステータスの2つの交叉バイアスのカテゴリを含む。
15のオープンソースモデルと2つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルに存在するバイアスに関する新たな洞察を得る。
論文 参考訳（メタデータ） (2024-06-20T10:56:59Z) - Ask LLMs Directly, "What shapes your bias?": Measuring Social Bias in Large Language Models [11.132360309354782]
社会的偏見は、様々な人口統計学的アイデンティティを対象とする社会的認識の蓄積によって形成される。
本研究では,社会的知覚を直感的に定量化し,大規模言語モデルにおける社会的バイアスを評価する指標を提案する。
論文 参考訳（メタデータ） (2024-06-06T13:32:09Z) - JBBQ: Japanese Bias Benchmark for Analyzing Social Biases in Large Language Models [24.351580958043595]
本稿では,英語バイアスベンチマークBBQに基づいて,質問回答のための日本語バイアスベンチマークデータセット(JBBQ)を構築した。
JBBQの精度が向上した現在の日本語LLMでは,そのバイアススコアが増大していることが示されている。
社会的バイアスと思考の連鎖について警告を発し、モデル出力におけるバイアスの効果を減少させる。
論文 参考訳（メタデータ） (2024-06-04T07:31:06Z) - Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。
既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。
我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
論文 参考訳（メタデータ） (2023-11-15T16:35:59Z) - The Tail Wagging the Dog: Dataset Construction Biases of Social Bias
Benchmarks [75.58692290694452]
社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。
これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
論文 参考訳（メタデータ） (2022-10-18T17:58:39Z) - The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。
本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
論文 参考訳（メタデータ） (2022-03-28T09:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。