論文の概要: IndoBias: A Dual Track Culturally Grounded Benchmark for LLMs Bias Evaluation in Indonesian Languages
- arxiv url: http://arxiv.org/abs/2606.01260v1
- Date: Sun, 31 May 2026 14:27:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:29.483396
- Title: IndoBias: A Dual Track Culturally Grounded Benchmark for LLMs Bias Evaluation in Indonesian Languages
- Title（参考訳）: IndoBias: インドネシア語におけるLLMのバイアス評価のための2トラックの文化的根拠付きベンチマーク
- Authors: Ikhlasul Akmal Hanif, Muhammad Falensi Azmi, Filbert Aurelian Tjiaranata, Eryawan Presma Yulianrifat, Fajri Koto,
- Abstract要約: IndoBiasは,大規模言語モデルを評価するために,文化的なバイアスベンチマークとして導入する。
以上の結果から,既存のLLMはインドネシアの原型文に対して強い偏見を示すことが明らかとなった。
インドネシアでは、コモン・クローリングのテキストは、人間がレビューした記事のテキストに比べて、事前訓練中により偏見をもたらす。
- 参考スコア（独自算出の注目度）: 10.458023217824545
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite being home to more than 1300 ethnic groups and 700 indigenous languages, bias in Large Language Models has not been fully studied in Indonesia, thus leaving a critical gap in evaluating representational fairness and localized stereotypes within its uniquely vast, multilingual, and diverse sociocultural landscape. To address this, we introduce IndoBias as a culturally-grounded bias benchmark to assess LLMs bias in Indonesian and three local languages: Javanese, Sundanese, and Makasar. IndoBias features dual perspective evaluation tracks: depth-oriented (with contrastive-pairs) and breadth-oriented (with generation-based), where the latter is grounded in social science frameworks (SPI, O*NET, and WGI). Our results show that existing LLMs -- particularly decoder models -- exhibit strong bias towards prototypical sentences in Indonesian, while local languages suffer higher bias under Ideology and Religion category. We also find that LLMs responses exhibit a non-uniform Stereotype Polarity when prompted with various local entities. Finally, we discover that, in Indonesian, Common Crawl texts introduce more bias during pretraining, compared to human-reviewed article texts (e.g., Wikipedia, News), whereas introducing local languages to pretraining generally increases bias. This work highlights the importance of studying bias in culture-specific context. Warning: This paper contains example data that may be offensive, harmful, or biased.
- Abstract（参考訳）: 1300以上の民族集団と700以上の先住民族の言語があるにもかかわらず、インドネシアでは大きな言語モデルにおける偏見は十分に研究されていない。
これを解決するため、インドネシアと3つの地方言語(ジャワ語、スンダ語、マカサール)におけるLLMのバイアスを評価するため、文化的な偏見ベンチマークとしてIndoBiasを紹介します。
IndoBiasは、深度指向(対照的なペア)と広度指向(世代ベース)の2つの視点評価トラックを備えており、後者は社会科学フレームワーク(SPI、O*NET、WGI)に基礎を置いている。
以上の結果から,既存のLLM(特にデコーダモデル)はインドネシアの原典型文に対して強い偏見を示す一方,地方言語はイデオロギーと宗教のカテゴリーでは高い偏見を被ることがわかった。
また, LLMの応答は, 様々な局所的な実体を刺激すると, 不均一なステレオタイプ極性を示すことがわかった。
最後に、インドネシアでは、Common Crawlテキストは、人間レビューされた記事テキスト(例えば、Wikipedia、News)と比較して、事前学習中によりバイアスをもたらすが、一方、事前学習にローカル言語を導入すると、一般的にバイアスが増加することを発見した。
この研究は、文化固有の文脈におけるバイアスを研究することの重要性を強調している。
警告: 本論文は、攻撃的、有害、偏見のあるサンプルデータを含む。
関連論文リスト
- Mind the Gap: Pitfalls of LLM Alignment with Asian Public Opinion [8.443928474148114]
大規模言語モデル(LLM)は、多言語で多文化的な設定で徐々に展開されている。
本研究は、宗教のセンシティブな領域を、より広いアライメントのためのプリズムとして重視する。
一般的なモデルは一般に広い社会問題に関する世論と一致しているが、宗教的視点を正確に表現することができない。
論文 参考訳（メタデータ） (2026-03-06T13:29:54Z) - SESGO: Spanish Evaluation of Stereotypical Generative Outputs [1.1549572298362782]
本稿では,多言語大言語モデル(LLM)におけるバイアス評価における限界ギャップについて論じる。
現在の評価は、主に米国英語中心であり、他の言語や文化の文脈で潜在的に危害が及ばないままである。
教科学習における社会的偏見を検出するための,新しい文化的な枠組みを提案する。
論文 参考訳（メタデータ） (2025-09-03T14:04:51Z) - BharatBBQ: A Multilingual Bias Benchmark for Question Answering in the Indian Context [36.56689822791777]
Bias Benchmark for Question Answering (BBQ)のような既存のベンチマークは主に西洋の文脈に焦点を当てている。
BharatBBQは、ヒンディー語、英語、マラティー語、ベンガル語、タミル語、テルグ語、オディア語、アッサム語のバイアスを評価するために設計された、文化的に適応したベンチマークである。
我々のデータセットは1つの言語で49,108のサンプルを含み、翻訳と検証によって拡張され、8つの言語で392,864のサンプルとなる。
論文 参考訳（メタデータ） (2025-08-09T20:24:24Z) - Geopolitical biases in LLMs: what are the "good" and the "bad" countries according to contemporary language models [52.00270888041742]
我々は、中立なイベント記述と異なる国からの視点を対比した新しいデータセットを導入する。
以上の結果から,特定の民族的物語のモデルが好まれる,重要な地政学的偏見がみられた。
単純なデバイアスのプロンプトはこれらのバイアスを減らすのに限られた効果があった。
論文 参考訳（メタデータ） (2025-06-07T10:45:17Z) - Measuring South Asian Biases in Large Language Models [1.5903891569492878]
本研究は,Large Language Models (LLMs) の多言語および交叉解析を行うことにより,ギャップに対処する。
我々は、性別、宗教、婚姻状況、子供の数など、未発見の交差点を捉えた文化的根拠に基づく偏見辞書を構築した。
Indo-Aryan言語とDravidian言語における文化的偏見を減らすための2つの自己バイアス戦略を評価する。
論文 参考訳（メタデータ） (2025-05-24T02:18:17Z) - Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。
多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。
これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
論文 参考訳（メタデータ） (2024-08-14T16:55:06Z) - See It from My Perspective: How Language Affects Cultural Bias in Image Understanding [60.70852566256668]
視覚言語モデル(VLM)は、多くの言語における画像に関するクエリに応答することができる。
画像理解におけるVLMの西洋的偏見を特徴付け,この格差の中で言語が果たす役割について検討する。
論文 参考訳（メタデータ） (2024-06-17T15:49:51Z) - Global Voices, Local Biases: Socio-Cultural Prejudices across Languages [22.92083941222383]
人間の偏見はユビキタスであるが、一様ではない。言語、文化、社会的境界を越えて格差が存在する。
本研究では,Word Embedding Association Test (WEAT) を24言語に拡張し,より広範な研究を可能にする。
より広く普及している社会的バイアスを包含するために、毒性、能力主義などにわたる新しいバイアス次元について検討する。
論文 参考訳（メタデータ） (2023-10-26T17:07:50Z) - NusaWrites: Constructing High-Quality Corpora for Underrepresented and
Extremely Low-Resource Languages [54.808217147579036]
インドネシアの地方言語について事例研究を行う。
データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。
本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
論文 参考訳（メタデータ） (2023-09-19T14:42:33Z) - Comparing Biases and the Impact of Multilingual Training across Multiple
Languages [70.84047257764405]
ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。
我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。
以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
論文 参考訳（メタデータ） (2023-05-18T18:15:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。