論文の概要: Exploring Changes in Nation Perception with Nationality-Assigned Personas in LLMs

• arxiv url: http://arxiv.org/abs/2406.13993v2
• Date: Wed, 16 Oct 2024 07:14:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:39:42.715023
• Title: Exploring Changes in Nation Perception with Nationality-Assigned Personas in LLMs
• Title（参考訳）: LLMにおける国籍指定者による国家認知の変化を探る
• Authors: Mahammed Kamruzzaman, Gene Louis Kim,
• Abstract要約: LLMとペルソナの組み合わせは、西欧諸国が好む傾向にある。 国民的パーソナリティは、LLMの行動にもっと焦点を当て、国家的パーソナの地域をより好意的に扱うように促す。 東ヨーロッパ、ラテンアメリカ、アフリカ諸国は、異なる国籍の人格によってより否定的に扱われる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Persona assignment has become a common strategy for customizing LLM use to particular tasks and contexts. In this study, we explore how evaluation of different nations change when LLMs are assigned specific nationality personas. We assign 193 different nationality personas (e.g., an American person) to four LLMs and examine how the LLM evaluations (or ''perceptions'')of countries change. We find that all LLM-persona combinations tend to favor Western European nations, though nation-personas push LLM behaviors to focus more on and treat the nation-persona's own region more favorably. Eastern European, Latin American, and African nations are treated more negatively by different nationality personas. We additionally find that evaluations by nation-persona LLMs of other nations correlate with human survey responses but fail to match the values closely. Our study provides insight into how biases and stereotypes are realized within LLMs when adopting different national personas. In line with the ''Blueprint for an AI Bill of Rights'', our findings underscore the critical need for developing mechanisms to ensure that LLM outputs promote fairness and avoid over-generalization.
• Abstract（参考訳）: ペルソナ割り当ては、特定のタスクやコンテキストに対するLLMの使用をカスタマイズするための一般的な戦略となっている。 本研究では, LLMが特定の国籍人格に割り当てられた場合, 異なる国の評価がどう変化するかを検討する。 我々は、193の異なる国籍人格(例えば、アメリカ人)を4つのLLMに割り当て、各国のLLM評価(または「知覚」)がどのように変化するかを調べる。 LLMと人格の組み合わせはすべて西欧諸国を好む傾向にあるが、国家と人格はLLMの行動をより重視し、国家と人格の地域をより有利に扱うように促す。 東ヨーロッパ、ラテンアメリカ、アフリカ諸国は、異なる国籍の人格によってより否定的に扱われる。 また、他国の国家的LLMによる評価は、人間の調査結果と相関するが、その値は密に一致しないことがわかった。 我々の研究は、異なる国家的ペルソナを採用する際に、LCM内でバイアスやステレオタイプがどのように実現されるかについての洞察を提供する。 我々の発見は,「AI権利章典の青写真」に則って,LCMの出力が公正性を促進し,過度な一般化を避けるためのメカニズム開発の必要性を浮き彫りにしている。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• GermanPartiesQA: Benchmarking Commercial Large Language Models for Political Bias and Sycophancy [20.06753067241866]
  我々は,OpenAI, Anthropic, Cohereの6つのLDMのアライメントをドイツ政党の立場と比較した。 我々は、主要なドイツの国会議員のベンチマークデータと社会デマグラフィーデータを用いて、迅速な実験を行う。
  論文  参考訳（メタデータ） (2024-07-25T13:04:25Z)
• How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions [9.275967682881944]
  ユーザの既知の国のステレオタイプ値に基づいて,大規模言語モデルがユーザに対して異なる値を示すかどうかを理解することが重要である。 我々は,5つのホフスティード文化次元に基づく一連のアドバイス要請で,異なるLCMを刺激する。 LLMは、ある価値の一方の側面と他方の側面を区別することができ、また、国が異なる価値を持っていることを理解できます。
  論文  参考訳（メタデータ） (2024-06-21T00:58:01Z)
• CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge [69.82940934994333]
  我々は、人間とAIのコラボレーションを活用して、挑戦的な評価データセットを構築するインタラクティブなレッドチームシステムであるCulturalTeamingを紹介する。 我々の研究は、CulturalTeamingの様々なAI支援モードが、文化的な質問の作成においてアノテータを支援することを明らかにした。 CULTURALBENCH-V0.1は、ユーザのリピートの試みにより、コンパクトだが高品質な評価データセットである。
  論文  参考訳（メタデータ） (2024-04-10T00:25:09Z)
• OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models [59.54423478596468]
  OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。 各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。 具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T04:42:41Z)
• Assessing LLMs for Moral Value Pluralism [2.860608352191896]
  我々は、認識値共鳴(RVR)NLPモデルを用いて、与えられたテキストの文節に共鳴し矛盾する世界価値調査(WVS)値を特定する。 LLMはいくつかの西洋中心の値バイアスを示す。 以上の結果から,社会科学に情報提供された技術ソリューションの必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2023-12-08T16:18:15Z)
• A Survey on Evaluation of Large Language Models [87.60417393701331]
  大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。 本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
  論文  参考訳（メタデータ） (2023-07-06T16:28:35Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。