論文の概要: SectEval: Evaluating the Latent Sectarian Preferences of Large Language Models

• arxiv url: http://arxiv.org/abs/2603.12768v1
• Date: Fri, 13 Mar 2026 08:12:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:11.993803
• Title: SectEval: Evaluating the Latent Sectarian Preferences of Large Language Models
• Title（参考訳）: SectEval: 大規模言語モデルの後期セクタリアン選好を評価する
• Authors: Aditya Maheshwari, Amit Gajkeshwar, Kaushal Sharma, Vivek Patel,
• Abstract要約: 英語とヒンディー語の両方で利用可能であり,88の質問から成り立っている。 以上の結果から,言語による不整合がみられた。 先進的なモデルであるClaude-3.5は、イランのユーザーとスンニのユーザーに対して、サウジアラビアのユーザーに対して、ユーザーの国産品であるシーアの回答と一致するように回答を変更した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As Large Language Models (LLMs) becomes a popular source for religious knowledge, it is important to know if it treats different groups fairly. This study is the first to measure how LLMs handle the differences between the two main sects of Islam: Sunni and Shia. We present a test called SectEval, available in both English and Hindi, consisting of 88 questions, to check the bias-ness of 15 top LLM models, both proprietary and open-weights. Our results show a major inconsistency based on language. In English, many powerful models DeepSeek-v3 and GPT-4o often favored Shia answers. However, when asked the exact same questions in Hindi, these models switched to favoring Sunni answers. This means a user could get completely different religious advice just by changing languages. We also looked at how models react to location. Advanced models Claude-3.5 changed their answers to match the user's country-giving Shia answers to a user from Iran and Sunni answers to a user from Saudi Arabia. In contrast, smaller models (especially in Hindi) ignored the user's location and stuck to a Sunni viewpoint. These findings show that AI is not neutral; its religious ``truth'' changes depending on the language you speak and the country you claim to be from. The data set is available at https://github.com/secteval/SectEval/
• Abstract（参考訳）: 大規模言語モデル (LLM) が宗教知識の主流となっているため、異なる集団を公平に扱うかどうかを知ることが重要である。 この研究は、スンニとシーアの2つの主要な宗派の違いをLCMがどう扱うかを測定する最初のものである。 88の質問からなる英語とヒンディー語の両方で利用でき、プロプライエタリおよびオープンヘビー級の15のLLMモデルのバイアス性をチェックする。 以上の結果から,言語による不整合がみられた。 英語では、DeepSeek-v3とGPT-4oは多くの強力なモデルがシーア回答を好んだ。 しかし、ヒンディー語で同じ質問をした際、これらのモデルはスンニ語の答えに切り替えた。 つまり、ユーザーは言語を変えるだけで、まったく異なる宗教的なアドバイスを受けることができる。 また、モデルが位置に対してどのように反応するかについても検討した。 先進的なモデルであるClaude-3.5は、イランのユーザーとスンニのユーザーに対して、サウジアラビアのユーザーに対して、ユーザーの国産品であるシーアの回答と一致するように回答を変更した。 対照的に、小さなモデル(特にヒンディー語)はユーザーの位置を無視し、スンニの視点に留まった。 これらの発見は、AIが中立ではないことを示している。その宗教的な「真実」は、あなたが話す言語と、主張する国によって変化する。 データセットはhttps://github.com/secteval/SectEval/で公開されている。

関連論文リスト

• Is Lying Only Sinful in Islam? Exploring Religious Bias in Multilingual Large Language Models Across Major Religions [1.3340996111165058]
  多言語モデルは、しばしば宗教を誤って表現し、宗教的な文脈で正確であるのが困難である。 我々は、南アジアの4つの主要な宗教である仏教、キリスト教、ヒンドゥー教、イスラム教に焦点を当てたBRAND: Bilingual Religious Accountable Normデータセットを紹介する。 我々の結果は、ベンガル語よりも英語の方が優れた結果を示し、宗教中立の疑問に答える場合でも、一貫してイスラム教に対する偏見を示すことを示している。
  論文  参考訳（メタデータ） (2025-12-03T16:38:41Z)
• A Cross-Lingual Analysis of Bias in Large Language Models Using Romanian History [0.15293427903448023]
  研究プロセスは3段階に分けて実施され、期待する応答の種類がある程度、応答そのものに影響を及ぼすという考え方を確認する。 その結果、バイナリ応答の安定性は比較的高いが、完璧には程遠いことが示され、言語によって異なる。
  論文  参考訳（メタデータ） (2025-09-28T13:03:09Z)
• Saudi-Dialect-ALLaM: LoRA Fine-Tuning for Dialectal Arabic Generation [0.0]
  アラビア語の大きな言語モデル(LLM)は現代標準アラビア語(MSA)に支配されている。 この表現不足は、真正な方言の変化を捉える能力を妨げている。 サウジアラビア方言教育データセットを用いて,サウジアラビア方言生成の基礎モデルを構築した。
  論文  参考訳（メタデータ） (2025-08-19T05:33:48Z)
• Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [45.41676783204022]
  大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。 MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。 LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
  論文  参考訳（メタデータ） (2025-06-12T08:47:40Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Exploring Bengali Religious Dialect Biases in Large Language Models with Evaluation Perspectives [5.648318448953635]
  大規模言語モデル(LLM)はステレオタイプとバイアスを含む出力を生成することができる。 我々はベンガル語における宗教的な視点から偏見を探求し、特にヒンドゥー語とムスリム・マジョリティの2つの主要な宗教方言に焦点を当てている。
  論文  参考訳（メタデータ） (2024-07-25T20:19:29Z)
• Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models [57.76998376458017]
  私たちはJaisとJais-chatを紹介します。これは、最先端のアラビア中心の新たな基礎であり、命令で調整されたオープンな生成型大言語モデル(LLMs)です。 モデルはGPT-3デコーダのみのアーキテクチャに基づいており、アラビア語と英語のテキストが混在している。 本稿では、トレーニング、チューニング、安全性アライメント、モデルの評価について詳述する。
  論文  参考訳（メタデータ） (2023-08-30T17:07:17Z)
• Speaking Multiple Languages Affects the Moral Bias of Language Models [70.94372902010232]
  事前訓練された多言語言語モデル(PMLM)は、複数の言語からのデータや言語間転送を扱う際に一般的に用いられる。 モデルは英語から道徳的規範を捉え、他の言語に強制するか? 我々の実験は、事実、PMLMが道徳的バイアスを符号化していることを示しているが、これらは必ずしも人間の意見の文化的相違や共通点に対応しているわけではない。
  論文  参考訳（メタデータ） (2022-11-14T20:08:54Z)
• GeoMLAMA: Geo-Diverse Commonsense Probing on Multilingual Pre-Trained Language Models [68.50584946761813]
  我々は多言語言語モデル(mPLM)に基づく地理多言語共通感覚探索のためのフレームワークを提案する。 我々は、GeoMLAMAデータセット上のmBERT、XLM、mT5、XGLMの変種を含む11の標準mPLMをベンチマークする。 1)大きなmPLMの変種は、必ずしもその小さな変種よりもジオ・ディバースの概念を保存していないこと,2)mPLMは西欧の知識に固有の偏りがないこと,3)母国よりも母国に関する知識を調査する方がよいこと,などが分かる。
  論文  参考訳（メタデータ） (2022-05-24T17:54:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。