論文の概要: Exploring Bengali Religious Dialect Biases in Large Language Models with Evaluation Perspectives

• arxiv url: http://arxiv.org/abs/2407.18376v1
• Date: Thu, 25 Jul 2024 20:19:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 14:59:16.846424
• Title: Exploring Bengali Religious Dialect Biases in Large Language Models with Evaluation Perspectives
• Title（参考訳）: 評価的視点を持つ大規模言語モデルにおけるベンガル語方言の探索
• Authors: Azmine Toushik Wasi, Raima Islam, Mst Rafia Islam, Taki Hasan Rafi, Dong-Kyu Chae,
• Abstract要約: 大規模言語モデル(LLM)はステレオタイプとバイアスを含む出力を生成することができる。 我々はベンガル語における宗教的な視点から偏見を探求し、特にヒンドゥー語とムスリム・マジョリティの2つの主要な宗教方言に焦点を当てている。
• 参考スコア（独自算出の注目度）: 5.648318448953635
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While Large Language Models (LLM) have created a massive technological impact in the past decade, allowing for human-enabled applications, they can produce output that contains stereotypes and biases, especially when using low-resource languages. This can be of great ethical concern when dealing with sensitive topics such as religion. As a means toward making LLMS more fair, we explore bias from a religious perspective in Bengali, focusing specifically on two main religious dialects: Hindu and Muslim-majority dialects. Here, we perform different experiments and audit showing the comparative analysis of different sentences using three commonly used LLMs: ChatGPT, Gemini, and Microsoft Copilot, pertaining to the Hindu and Muslim dialects of specific words and showcasing which ones catch the social biases and which do not. Furthermore, we analyze our findings and relate them to potential reasons and evaluation perspectives, considering their global impact with over 300 million speakers worldwide. With this work, we hope to establish the rigor for creating more fairness in LLMs, as these are widely used as creative writing agents.
• Abstract（参考訳）: 大規模言語モデル(LLM)は過去10年間で大きな技術的影響を生み出しており、人間が使えるアプリケーションを可能にする一方で、ステレオタイプやバイアスを含む出力を生成することができる。 これは宗教などの繊細なトピックを扱う際に、非常に倫理的な関心事となる。 LLMSをより公平にするための手段として、ベンガルの宗教的な視点からバイアスを探り、特にヒンドゥー語とムスリム・マジョリティの2つの主要な宗教方言に焦点を当てる。 そこで我々は,3つの LLM を用いて,異なる文の比較分析を行った。ChatGPT,Gemini,Microsoft Copilot は,特定の単語のヒンドゥー方言とムスリム方言に関連するものであり,どの単語が社会的偏見をつかむかを示すものである。 さらに、世界中の3億人以上の話者による世界的影響を考慮し、分析を行い、潜在的な理由や評価の視点に関連づける。 この研究により、クリエイティブな執筆エージェントとして広く利用されているLCMにおいて、より公平な作品を作るための厳格なツールが確立されることを願っている。

関連論文リスト

• Decoding Multilingual Moral Preferences: Unveiling LLM's Biases Through the Moral Machine Experiment [11.82100047858478]
  本稿では,多言語環境下での5つの大規模言語モデルの道徳的嗜好を検討するために,モラルマシン実験(MME)に基づく。 我々は、MMEの6500のシナリオを生成し、どのアクションをとるか10言語でモデルを促す。 我々の分析によると、全てのLLMはある程度異なる道徳的偏見を阻害し、人間の嗜好と異なるだけでなく、モデル自体の複数の言語にもまたがっている。
  論文  参考訳（メタデータ） (2024-07-21T14:48:13Z)
• Multilingual Trolley Problems for Language Models [138.0995992619116]
  この研究は、「道徳機械実験」という人間の道徳的嗜好に関する大規模横断的な研究から着想を得たものである。 大規模な言語モデル(LLM)は、英語、韓国語、ハンガリー語、中国語などの言語では人間の好みと一致しているが、ヒンディー語やソマリ語(アフリカ)のような言語では一致していないことを示す。 また, LLMが道徳的選択に与える説明を特徴付けるとともに, GPT-3によるGPT-4の決定と実用主義の裏側において, 公平性が最も有力であることを示す。
  論文  参考訳（メタデータ） (2024-07-02T14:02:53Z)
• See It from My Perspective: Diagnosing the Western Cultural Bias of Large Vision-Language Models in Image Understanding [78.88461026069862]
  視覚言語モデル(VLM)は、多くの言語における画像に関するクエリに応答することができる。 我々は、画像理解における西洋の偏見を実証し、局所化する新しい研究を提案する。
  論文  参考訳（メタデータ） (2024-06-17T15:49:51Z)
• Large Language Models are Geographically Biased [51.37609528538606]
  我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。 我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
  論文  参考訳（メタデータ） (2024-02-05T02:32:09Z)
• Do Moral Judgment and Reasoning Capability of LLMs Change with Language? A Study using the Multilingual Defining Issues Test [21.108525674360898]
  我々は英語を超えて5つの新しい言語(中国語、ヒンディー語、ロシア語、スペイン語、スワヒリ語)に拡張する。 本研究は, ヒンディー語, スワヒリ語, スペイン語, ロシア語, 中国語, 英語に比較して, すべてのモデルに対する道徳的推論能力は, ヒンディー語, スワヒリ語に比較して有意に劣っていることを示す。
  論文  参考訳（メタデータ） (2024-02-03T12:52:36Z)
• Global Voices, Local Biases: Socio-Cultural Prejudices across Languages [22.92083941222383]
  人間の偏見はユビキタスであるが、一様ではない。言語、文化、社会的境界を越えて格差が存在する。 本研究では,Word Embedding Association Test (WEAT) を24言語に拡張し,より広範な研究を可能にする。 より広く普及している社会的バイアスを包含するために、毒性、能力主義などにわたる新しいバイアス次元について検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:07:50Z)
• Are Multilingual LLMs Culturally-Diverse Reasoners? An Investigation into Multicultural Proverbs and Sayings [73.48336898620518]
  大規模言語モデル (LLM) は質問への回答や推論に非常に適している。 本研究は,多言語多言語LLMの会話文脈における証明や言説の推論能力について考察する。
  論文  参考訳（メタデータ） (2023-09-15T17:45:28Z)
• Comparing Biases and the Impact of Multilingual Training across Multiple Languages [70.84047257764405]
  ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。 我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。 以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
  論文  参考訳（メタデータ） (2023-05-18T18:15:07Z)
• Speaking Multiple Languages Affects the Moral Bias of Language Models [70.94372902010232]
  事前訓練された多言語言語モデル(PMLM)は、複数の言語からのデータや言語間転送を扱う際に一般的に用いられる。 モデルは英語から道徳的規範を捉え、他の言語に強制するか? 我々の実験は、事実、PMLMが道徳的バイアスを符号化していることを示しているが、これらは必ずしも人間の意見の文化的相違や共通点に対応しているわけではない。
  論文  参考訳（メタデータ） (2022-11-14T20:08:54Z)
• Socially Aware Bias Measurements for Hindi Language Representations [38.40818373580979]
  偏見は、広く話されている地域の歴史と文化に基づいて、特定の言語表現に特有のものであることを示す。 我々は,言語表現のモデル化において,言語的・文法的アーティファクトとともに,社会認識の必要性を強調した。
  論文  参考訳（メタデータ） (2021-10-15T05:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。