論文の概要: Quite Good, but Not Enough: Nationality Bias in Large Language Models -- A Case Study of ChatGPT
- arxiv url: http://arxiv.org/abs/2405.06996v1
- Date: Sat, 11 May 2024 12:11:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 18:57:41.843758
- Title: Quite Good, but Not Enough: Nationality Bias in Large Language Models -- A Case Study of ChatGPT
- Title（参考訳）: 大言語モデルにおける国籍バイアス - ChatGPT のケーススタディ
- Authors: Shucheng Zhu, Weikang Wang, Ying Liu,
- Abstract要約: 本研究では,テキスト生成のための大規模言語モデルであるChatGPT(GPT-3.5)の国籍バイアスについて検討する。
この研究は、195カ国、4つの温度設定、3つの異なるプロンプトタイプをカバーし、中国語と英語の国籍記述に関する4,680の談話を生み出している。
- 参考スコア（独自算出の注目度）: 4.998396762666333
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While nationality is a pivotal demographic element that enhances the performance of language models, it has received far less scrutiny regarding inherent biases. This study investigates nationality bias in ChatGPT (GPT-3.5), a large language model (LLM) designed for text generation. The research covers 195 countries, 4 temperature settings, and 3 distinct prompt types, generating 4,680 discourses about nationality descriptions in Chinese and English. Automated metrics were used to analyze the nationality bias, and expert annotators alongside ChatGPT itself evaluated the perceived bias. The results show that ChatGPT's generated discourses are predominantly positive, especially compared to its predecessor, GPT-2. However, when prompted with negative inclinations, it occasionally produces negative content. Despite ChatGPT considering its generated text as neutral, it shows consistent self-awareness about nationality bias when subjected to the same pair-wise comparison annotation framework used by human annotators. In conclusion, while ChatGPT's generated texts seem friendly and positive, they reflect the inherent nationality biases in the real world. This bias may vary across different language versions of ChatGPT, indicating diverse cultural perspectives. The study highlights the subtle and pervasive nature of biases within LLMs, emphasizing the need for further scrutiny.
- Abstract（参考訳）: 国籍は言語モデルの性能を高める重要な人口統計要素であるが、固有の偏見に関してはるかに精査されていない。
本研究では,テキスト生成のための大規模言語モデルであるChatGPT(GPT-3.5)の国籍バイアスについて検討する。
この研究は、195カ国、4つの温度設定、3つの異なるプロンプトタイプをカバーし、中国語と英語の国籍記述に関する4,680の談話を生み出している。
自動メトリクスは国籍バイアスの分析に使われ、ChatGPT自身とともに専門家アノテータは認識バイアスを評価した。
その結果,ChatGPTが生成する談話は,前者であるGPT-2と比較して,主に肯定的であった。
しかし、ネガティブな傾向が引き起こされると、時にネガティブな内容が生み出される。
ChatGPTは生成したテキストを中立とみなすが、人間のアノテーションが使用するのと同じペアワイズ比較アノテーションフレームワークに従えば、国籍バイアスに対する一貫した自己認識を示す。
結論として、ChatGPTが生成したテキストは友好的で肯定的なように見えるが、それらは現実世界の固有の国籍バイアスを反映している。
このバイアスは、さまざまな文化的視点を示すさまざまな言語バージョンのChatGPTによって異なる可能性がある。
この研究は、LSM内のバイアスの微妙で広汎な性質を強調し、さらなる精査の必要性を強調している。
関連論文リスト
- Linguistic Bias in ChatGPT: Language Models Reinforce Dialect Discrimination [29.162606891172615]
ChatGPTは、英語の10の方言(Standard American English、Standard British English、および世界中で広く話されている8つの非標準品種)をカバーしている。
GPT-3.5 Turbo と GPT-4 を各品種の母語話者のテキストで誘導し,言語的特徴アノテーションと母語話者評価を用いて応答を解析した。
GPT-3.5 Turbo と GPT-4 は,非標準型話者に対する言語識別を永続的に行うことができる。
論文 参考訳（メタデータ） (2024-06-13T05:20:42Z) - ChatGPT v.s. Media Bias: A Comparative Study of GPT-3.5 and Fine-tuned Language Models [0.276240219662896]
本研究は,メディアバイアス識別ベンチマーク(MBIB)を活用して,この問題に答えようとするものである。
メディアバイアスの6つのカテゴリを区別し、BART、ConvBERT、GPT-2などの微調整されたモデルに差をつけ、ChatGPTの能力を評価する。
ChatGPTはヘイトスピーチとテキストレベルの文脈バイアスを検出するために微調整されたモデルと同等に機能するが、他のバイアス検出の微妙な要素で困難に直面している。
論文 参考訳（メタデータ） (2024-03-29T13:12:09Z) - I Am Not Them: Fluid Identities and Persistent Out-group Bias in Large
Language Models [11.77633171656753]
我々は、西欧語(英語、ドイツ語、フランス語)と東欧語(中国語、日本語、韓国語)にまたがる文化的偏見-個人主義対集団主義-ChatGPTについて検討した。
ChatGPTが西洋語で個人主義的ペルソナを採用すると、その集団主義のスコア(つまり、グループ外値)はより否定的な傾向を示した。
逆に、東欧語で集団主義的ペルソナがChatGPTに割り当てられたとき、同様のパターンが出現し、個人主義に対するより否定的な反応(つまり、外集団の値)が現れた。
論文 参考訳（メタデータ） (2024-02-16T03:54:48Z) - GPTAraEval: A Comprehensive Evaluation of ChatGPT on Arabic NLP [21.6253870440136]
本研究は,44の言語理解・生成タスクを含むChatGPTの大規模自動・人為的評価を行う。
以上の結果から,ChatGPTは英語における顕著な性能にもかかわらず,アラビア語を微調整した小型モデルでは一貫して上回っていることが示唆された。
論文 参考訳（メタデータ） (2023-05-24T10:12:39Z) - Comparing Biases and the Impact of Multilingual Training across Multiple
Languages [70.84047257764405]
ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。
我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。
以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
論文 参考訳（メタデータ） (2023-05-18T18:15:07Z) - Consistency Analysis of ChatGPT [65.268245109828]
本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。
その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
論文 参考訳（メタデータ） (2023-03-11T01:19:01Z) - Is ChatGPT a Good NLG Evaluator? A Preliminary Study [121.77986688862302]
NLG測定値として信頼性を示すため,ChatGPTのメタ評価を行った。
実験の結果,ChatGPTは従来の自動測定値と比較して,人間の判断と最先端あるいは競合的な相関を達成できた。
我々の予備研究は、汎用的な信頼性のあるNLGメトリックの出現を促すことを願っている。
論文 参考訳（メタデータ） (2023-03-07T16:57:20Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z) - Nationality Bias in Text Generation [10.8637226966191]
本稿では、テキスト生成モデルであるGPT-2が、国ベースのデジムに対する既存の社会的偏見をアクセントする方法について検討する。
我々はGPT-2を様々な国籍に利用し、感度分析を用いてインターネット利用者数と国内経済状況が物語の感情にどのように影響するかを探索する。
以上の結果から,GPT-2はインターネット利用者が少ない国に対して大きな偏見を示し,敵対的トリガが効果的に減少することが示唆された。
論文 参考訳（メタデータ） (2023-02-05T19:15:33Z) - COFFEE: Counterfactual Fairness for Personalized Text Generation in
Explainable Recommendation [56.520470678876656]
ユーザ記述テキストに固有のバイアスは、言語品質の異なるレベルとユーザの保護された属性を関連付けることができる。
説明生成における測度特異的な対実的公正性を実現するための一般的な枠組みを提案する。
論文 参考訳（メタデータ） (2022-10-14T02:29:10Z) - Towards Controllable Biases in Language Generation [87.89632038677912]
本研究では、特定の人口集団の言及を含む入力プロンプトによって生成されたテキストの社会的バイアスを誘導する手法を開発した。
1 つの人口統計学において負のバイアスを誘発し、もう1 つの人口統計学において正のバイアスを誘導し、2 つのシナリオを分析する。
論文 参考訳（メタデータ） (2020-05-01T08:25:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。