論文の概要: Sometimes the Model doth Preach: Quantifying Religious Bias in Open LLMs through Demographic Analysis in Asian Nations

• arxiv url: http://arxiv.org/abs/2503.07510v1
• Date: Mon, 10 Mar 2025 16:32:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 18:54:29.623353
• Title: Sometimes the Model doth Preach: Quantifying Religious Bias in Open LLMs through Demographic Analysis in Asian Nations
• Title（参考訳）: アジア諸国のデモグラフィー分析によるオープンLLMにおける宗教バイアスの定量化
• Authors: Hari Shankar, Vedanta S P, Tejas Cavale, Ponnurangam Kumaraguru, Abhijnan Chakraborty,
• Abstract要約: 大きな言語モデル(LLM)は、意見を生成し、バイアスを無意識に伝播することができる。 本研究は,LLMが生み出す意見を定量的に分析する手法を提案する。 Llama や Mistral のような近代的でオープンな LLM を世界各国で実施した調査で評価した。
• 参考スコア（独自算出の注目度）: 8.769839351949997
• License:
• Abstract: Large Language Models (LLMs) are capable of generating opinions and propagating bias unknowingly, originating from unrepresentative and non-diverse data collection. Prior research has analysed these opinions with respect to the West, particularly the United States. However, insights thus produced may not be generalized in non-Western populations. With the widespread usage of LLM systems by users across several different walks of life, the cultural sensitivity of each generated output is of crucial interest. Our work proposes a novel method that quantitatively analyzes the opinions generated by LLMs, improving on previous work with regards to extracting the social demographics of the models. Our method measures the distance from an LLM's response to survey respondents, through Hamming Distance, to infer the demographic characteristics reflected in the model's outputs. We evaluate modern, open LLMs such as Llama and Mistral on surveys conducted in various global south countries, with a focus on India and other Asian nations, specifically assessing the model's performance on surveys related to religious tolerance and identity. Our analysis reveals that most open LLMs match a single homogeneous profile, varying across different countries/territories, which in turn raises questions about the risks of LLMs promoting a hegemonic worldview, and undermining perspectives of different minorities. Our framework may also be useful for future research investigating the complex intersection between training data, model architecture, and the resulting biases reflected in LLM outputs, particularly concerning sensitive topics like religious tolerance and identity.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、非表現的および非表現的データ収集から派生した、意見の生成と偏見の伝播を無意識に行うことができる。 それまでの研究は、欧米、特にアメリカ合衆国についてこれらの意見を分析してきた。 しかし、この結果が得られた洞察は非西洋人では一般化されない。 ユーザによるLCMシステムの普及により,それぞれの出力の文化的感受性が重要となる。 本研究は, LLMが生み出す意見を定量的に分析する手法を提案する。 本手法は,調査対象者に対するLCMの応答からハミング距離までの距離を計測し,モデル出力に反映される人口特性を推定する。 本研究は,インドなどアジア諸国を対象に,世界各国で実施されている調査において,Llama や Mistral などの近代的でオープンな LLM を評価し,宗教的寛容とアイデンティティに関する調査において,モデルの性能を特に評価するものである。 分析の結果,ほとんどの開放LDMは単一均質なプロファイルと一致し,各国・地域によって異なることが判明し,ヘゲモニック世界観を推進し,少数民族の視点を損なうことの危険性が疑問視される。 我々のフレームワークは、トレーニングデータ、モデルアーキテクチャ、およびLLM出力に反映される結果として生じるバイアス、特に宗教的寛容やアイデンティティといったセンシティブなトピックの複雑な交差を調査する上でも有用である。

関連論文リスト

• Fairness in LLM-Generated Surveys [0.5720786928479238]
  大規模言語モデル(LLM)は、特に社会・政治・経済のパターンをシミュレートするテキスト生成と理解において優れている。 本研究は,チリと米国からの公的調査を分析した結果,LLMが多種多様な個体群でどのように機能するかを検討した。 政治的アイデンティティと人種は予測精度に大きな影響を与え、チリではジェンダー、教育、宗教関係はより顕著な役割を担っている。
  論文  参考訳（メタデータ） (2025-01-25T23:42:20Z)
• Algorithmic Fidelity of Large Language Models in Generating Synthetic German Public Opinions: A Case Study [23.458234676060716]
  本研究では,大規模言語モデル(LLM)のアルゴリズム的忠実度について検討する。 我々は、人口動態の特徴をペルソナのプロンプトに組み込むことで、ドイツのサブポピュレーションを反映した合成世論を生成するよう、異なるLLMに促す。 以上の結果から,Llama は他の LLM よりも,特にグループ内での意見の多様性が低い場合には,サブポピュレーションの表現に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-12-17T18:46:32Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• A Multi-LLM Debiasing Framework [85.17156744155915]
  大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。 近年,マルチLLM手法への関心が高まっており,推論の質向上に有効であることが示されている。 LLMのバイアス低減を目的としたマルチLLMデバイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T20:24:50Z)
• Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion [45.84205238554709]
  我々は,2017年ドイツ縦断選挙研究の回答者の個人特性と一致するペルソナの合成サンプルを生成した。 我々は,LSM GPT-3.5に対して,各回答者の投票選択を予測し,これらの予測を調査に基づく推定と比較する。 GPT-3.5は市民の投票選択を正確に予測せず、緑の党と左派に偏見を呈している。
  論文  参考訳（メタデータ） (2024-07-11T14:52:18Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• The Unequal Opportunities of Large Language Models: Revealing Demographic Bias through Job Recommendations [5.898806397015801]
  大規模言語モデル(LLM)における人口統計バイアスの分析と比較のための簡易な手法を提案する。 本稿では,ChatGPTとLLaMAの交差バイアスを計測し,本手法の有効性を示す。 両モデルとも、メキシコ労働者の低賃金雇用を一貫して示唆するなど、さまざまな人口統計学的アイデンティティに対する偏見を識別する。
  論文  参考訳（メタデータ） (2023-08-03T21:12:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。