論文の概要: Sometimes the Model doth Preach: Quantifying Religious Bias in Open LLMs through Demographic Analysis in Asian Nations
- arxiv url: http://arxiv.org/abs/2503.07510v1
- Date: Mon, 10 Mar 2025 16:32:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 20:09:45.041669
- Title: Sometimes the Model doth Preach: Quantifying Religious Bias in Open LLMs through Demographic Analysis in Asian Nations
- Title（参考訳）: アジア諸国のデモグラフィー分析によるオープンLLMにおける宗教バイアスの定量化
- Authors: Hari Shankar, Vedanta S P, Tejas Cavale, Ponnurangam Kumaraguru, Abhijnan Chakraborty,
- Abstract要約: 大きな言語モデル(LLM)は、意見を生成し、バイアスを無意識に伝播することができる。
本研究は,LLMが生み出す意見を定量的に分析する手法を提案する。
Llama や Mistral のような近代的でオープンな LLM を世界各国で実施した調査で評価した。
- 参考スコア（独自算出の注目度）: 8.769839351949997
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs) are capable of generating opinions and propagating bias unknowingly, originating from unrepresentative and non-diverse data collection. Prior research has analysed these opinions with respect to the West, particularly the United States. However, insights thus produced may not be generalized in non-Western populations. With the widespread usage of LLM systems by users across several different walks of life, the cultural sensitivity of each generated output is of crucial interest. Our work proposes a novel method that quantitatively analyzes the opinions generated by LLMs, improving on previous work with regards to extracting the social demographics of the models. Our method measures the distance from an LLM's response to survey respondents, through Hamming Distance, to infer the demographic characteristics reflected in the model's outputs. We evaluate modern, open LLMs such as Llama and Mistral on surveys conducted in various global south countries, with a focus on India and other Asian nations, specifically assessing the model's performance on surveys related to religious tolerance and identity. Our analysis reveals that most open LLMs match a single homogeneous profile, varying across different countries/territories, which in turn raises questions about the risks of LLMs promoting a hegemonic worldview, and undermining perspectives of different minorities. Our framework may also be useful for future research investigating the complex intersection between training data, model architecture, and the resulting biases reflected in LLM outputs, particularly concerning sensitive topics like religious tolerance and identity.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、非表現的および非表現的データ収集から派生した、意見の生成と偏見の伝播を無意識に行うことができる。
それまでの研究は、欧米、特にアメリカ合衆国についてこれらの意見を分析してきた。
しかし、この結果が得られた洞察は非西洋人では一般化されない。
ユーザによるLCMシステムの普及により,それぞれの出力の文化的感受性が重要となる。
本研究は, LLMが生み出す意見を定量的に分析する手法を提案する。
本手法は,調査対象者に対するLCMの応答からハミング距離までの距離を計測し,モデル出力に反映される人口特性を推定する。
本研究は,インドなどアジア諸国を対象に,世界各国で実施されている調査において,Llama や Mistral などの近代的でオープンな LLM を評価し,宗教的寛容とアイデンティティに関する調査において,モデルの性能を特に評価するものである。
分析の結果,ほとんどの開放LDMは単一均質なプロファイルと一致し,各国・地域によって異なることが判明し,ヘゲモニック世界観を推進し,少数民族の視点を損なうことの危険性が疑問視される。
我々のフレームワークは、トレーニングデータ、モデルアーキテクチャ、およびLLM出力に反映される結果として生じるバイアス、特に宗教的寛容やアイデンティティといったセンシティブなトピックの複雑な交差を調査する上でも有用である。
関連論文リスト
- Unequal Opportunities: Examining the Bias in Geographical Recommendations by Large Language Models [11.585115320816257]
本研究では,米国の都市・都市におけるLarge Language Models(LLMs)勧告におけるバイアスについて検討した。
我々は, LLMs応答の一貫性と, 過度に表現されたり, あるいは過度に表現されたりする傾向に注目した。
以上の結果から,従来の経済格差を拡大するリッチ・ゲット・リッチ・エフェクトが持続する可能性が示唆された。
論文 参考訳（メタデータ） (2025-03-16T18:59:00Z) - Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English [66.97110551643722]
本研究では,Large Language Models (LLMs) 推論タスクにおける方言の相違について検討する。
LLMは、AAE入力に対するより正確な応答とより単純な推論チェーンと説明を生成する。
これらの知見は、LLMの処理方法と異なる言語品種の理由の体系的差異を浮き彫りにした。
論文 参考訳（メタデータ） (2025-03-06T05:15:34Z) - Fairness in LLM-Generated Surveys [0.5720786928479238]
大規模言語モデル(LLM)は、特に社会・政治・経済のパターンをシミュレートするテキスト生成と理解において優れている。
本研究は,チリと米国からの公的調査を分析した結果,LLMが多種多様な個体群でどのように機能するかを検討した。
政治的アイデンティティと人種は予測精度に大きな影響を与え、チリではジェンダー、教育、宗教関係はより顕著な役割を担っている。
論文 参考訳（メタデータ） (2025-01-25T23:42:20Z) - Algorithmic Fidelity of Large Language Models in Generating Synthetic German Public Opinions: A Case Study [23.458234676060716]
本研究では,大規模言語モデル(LLM)のアルゴリズム的忠実度について検討する。
我々は、人口動態の特徴をペルソナのプロンプトに組み込むことで、ドイツのサブポピュレーションを反映した合成世論を生成するよう、異なるLLMに促す。
以上の結果から,Llama は他の LLM よりも,特にグループ内での意見の多様性が低い場合には,サブポピュレーションの表現に優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-12-17T18:46:32Z) - Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。
本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
論文 参考訳（メタデータ） (2024-10-24T04:02:30Z) - Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。
追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
論文 参考訳（メタデータ） (2024-10-03T16:43:17Z) - A Multi-LLM Debiasing Framework [85.17156744155915]
大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。
近年,マルチLLM手法への関心が高まっており,推論の質向上に有効であることが示されている。
LLMのバイアス低減を目的としたマルチLLMデバイアスフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-20T20:24:50Z) - On the steerability of large language models toward data-driven personas [98.9138902560793]
大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。
本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T19:01:13Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳（メタデータ） (2023-11-07T15:40:43Z) - The Unequal Opportunities of Large Language Models: Revealing
Demographic Bias through Job Recommendations [5.898806397015801]
大規模言語モデル(LLM)における人口統計バイアスの分析と比較のための簡易な手法を提案する。
本稿では,ChatGPTとLLaMAの交差バイアスを計測し,本手法の有効性を示す。
両モデルとも、メキシコ労働者の低賃金雇用を一貫して示唆するなど、さまざまな人口統計学的アイデンティティに対する偏見を識別する。
論文 参考訳（メタデータ） (2023-08-03T21:12:54Z) - AI-Augmented Surveys: Leveraging Large Language Models and Surveys for Opinion Prediction [0.0]
人間のような反応を生み出す大きな言語モデル(LLM)は、社会科学における研究の実践に革命をもたらし始めている。
横断的な調査を繰り返しながらLLMを微調整する新しい手法の枠組みを開発した。
AIが強化した調査の2つの新しい応用として、レトロディクション(すなわち、年レベルの欠落を予測)と、無意識の意見予測(unasked opinion prediction)を紹介した。
論文 参考訳（メタデータ） (2023-05-16T17:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。