論文の概要: Having Beer after Prayer? Measuring Cultural Bias in Large Language
Models
- arxiv url: http://arxiv.org/abs/2305.14456v3
- Date: Mon, 19 Feb 2024 23:10:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 21:30:50.949891
- Title: Having Beer after Prayer? Measuring Cultural Bias in Large Language
Models
- Title(参考訳): 祈りの後にビールを飲んでる?
大規模言語モデルにおける文化バイアスの測定
- Authors: Tarek Naous, Michael J. Ryan, Alan Ritter, Wei Xu
- Abstract要約: 多言語およびアラビア語のモノリンガルLMは、西洋文化に関連する実体に対して偏見を示すことを示す。
アラブ文化と西洋文化を対比する8つのタイプにまたがる628個の自然発生プロンプトと20,368個のエンティティからなる新しい資源であるCAMeLを紹介した。
CAMeLを用いて、物語生成、NER、感情分析などのタスクにおいて、12の異なるLMのアラビア語における異文化間性能について検討した。
- 参考スコア(独自算出の注目度): 28.09972358912354
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As the reach of large language models (LMs) expands globally, their ability
to cater to diverse cultural contexts becomes crucial. Despite advancements in
multilingual capabilities, models are not designed with appropriate cultural
nuances. In this paper, we show that multilingual and Arabic monolingual LMs
exhibit bias towards entities associated with Western culture. We introduce
CAMeL, a novel resource of 628 naturally-occurring prompts and 20,368 entities
spanning eight types that contrast Arab and Western cultures. CAMeL provides a
foundation for measuring cultural biases in LMs through both extrinsic and
intrinsic evaluations. Using CAMeL, we examine the cross-cultural performance
in Arabic of 12 different LMs on tasks such as story generation, NER, and
sentiment analysis, where we find concerning cases of stereotyping and cultural
unfairness. We further test their text-infilling performance, revealing the
incapability of appropriate adaptation to Arab cultural contexts. Finally, we
analyze 6 Arabic pre-training corpora and find that commonly used sources such
as Wikipedia may not be best suited to build culturally aware LMs, if used as
they are without adjustment. We will make CAMeL publicly available at:
https://github.com/tareknaous/camel
- Abstract(参考訳): 大規模言語モデル(LM)が世界規模で普及するにつれ、多様な文化的文脈に適応する能力が重要となる。
多言語能力の進歩にもかかわらず、モデルは適切な文化的ニュアンスで設計されていない。
本稿では、多言語とアラビア語のモノリンガルなLMが西洋文化に関連する実体に偏りを示すことを示す。
アラブ文化と西洋文化を対比する8つのタイプにまたがる628個の自然発生プロンプトと20,368個のエンティティからなる新しい資源であるCAMeLを紹介する。
CAMeLは、外因性評価と内因性評価の両方を通じて、LMの文化的バイアスを測定する基盤を提供する。
ラクダを用いて,物語生成,ナー,感情分析などのタスクにおいて,アラビア語の12種類のlmsにおける異文化間パフォーマンスを検証し,ステレオタイプや文化的不公平の事例について考察した。
さらに,アラブ文化の文脈に適切な適応ができないことを明らかにするため,テキスト入力性能の検証を行った。
最後に、6つのアラビア事前学習コーパスを分析し、もし調整なしで使用すれば、ウィキペディアのような一般的なソースは、文化的に認識されたLMを構築するのに適さないかもしれないことを発見した。
CAMeL を https://github.com/tareknaous/camel で公開します。
関連論文リスト
- Investigating Cultural Alignment of Large Language Models [11.730822193746826]
LLM(Large Language Models)は,異なる文化で採用されている多様な知識を真にカプセル化していることを示す。
社会学的調査をシミュレートし、実際の調査参加者のモデル応答を参考として、文化的アライメントの定量化を行う。
本稿では,人類学的推論を活用し,文化的アライメントを高める新しい手法である人類学的プロンプティングを紹介する。
論文 参考訳(メタデータ) (2024-02-20T18:47:28Z) - Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
本稿では,多文化知識獲得のための新しいアプローチを提案する。
本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。
私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
論文 参考訳(メタデータ) (2024-02-14T18:16:54Z) - Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in
Large Language Models [89.94270049334479]
本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。
LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
論文 参考訳(メタデータ) (2023-10-19T05:38:23Z) - AceGPT, Localizing Large Language Models in Arabic [74.47331062873107]
本稿では,アラビア語を対象とする局所的大規模言語モデル(LLM)の開発に着目する。
本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答などを含む総合的なソリューションを提案する。
目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
論文 参考訳(メタデータ) (2023-09-21T13:20:13Z) - NusaWrites: Constructing High-Quality Corpora for Underrepresented and
Extremely Low-Resource Languages [54.808217147579036]
インドネシアの地方言語について事例研究を行う。
データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。
本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
論文 参考訳(メタデータ) (2023-09-19T14:42:33Z) - Cultural Alignment in Large Language Models: An Explanatory Analysis
Based on Hofstede's Cultural Dimensions [11.17369336069962]
提案された文化的アライメントテスト(CAT)は、ホフステデの文化的次元の枠組みを用いて文化的アライメントを定量化する。
我々は、各国の多様な文化にまたがる最先端の大規模言語モデル(LLM)に埋め込まれた文化的価値を評価するために、我々のアプローチを適用した。
論文 参考訳(メタデータ) (2023-08-25T14:50:13Z) - Multilingual Language Models are not Multicultural: A Case Study in
Emotion [8.73324795579955]
2023年の多言語LMは、文化や言語間の感情表現の相違を反映しているかどうかを考察する。
LMから得られる埋め込みはアングロ中心であり、生成的LMは他言語のプロンプトに応答しても西洋のノルムを反映している。
論文 参考訳(メタデータ) (2023-07-03T21:54:28Z) - Multi-lingual and Multi-cultural Figurative Language Understanding [69.47641938200817]
図形言語は人間のコミュニケーションに浸透するが、NLPでは比較的過小評価されている。
Hindi, Indonesian, Javanese, Kannada, Sundanese, Swahili, Yorubaの7つの多様な言語に関するデータセットを作成しました。
我々のデータセットから,各言語は,同じ領域から派生した言語間で最も高い重なり合いを持つ,図形表現の文化的・地域的概念に依存していることが明らかとなった。
全ての言語は、事前学習データと微調整データの可用性を反映した性能の変化により、英語と比較して大きな欠陥がある。
論文 参考訳(メタデータ) (2023-05-25T15:30:31Z) - Empowering LLM-based Machine Translation with Cultural Awareness [52.365390827200464]
伝統的なニューラルネットワーク翻訳(NMT)システムは、しばしば文化的に特定の情報を含む文の翻訳に失敗する。
最近のインコンテキスト学習では、機械翻訳を行うために、軽量なプロンプトを使用して、大規模言語モデル(LLM)をガイドしている。
我々は、文化的に関連のある並列コーパスを構築するための新しいデータキュレーションパイプラインを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:56:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。