論文の概要: Evaluating Cultural Adaptability of a Large Language Model via Simulation of Synthetic Personas

• arxiv url: http://arxiv.org/abs/2408.06929v1
• Date: Tue, 13 Aug 2024 14:32:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 17:16:52.982589
• Title: Evaluating Cultural Adaptability of a Large Language Model via Simulation of Synthetic Personas
• Title（参考訳）: 合成ペルソナのシミュレーションによる大規模言語モデルの文化的適応性の評価
• Authors: Louis Kwok, Michal Bravansky, Lewis D. Griffin,
• Abstract要約: 我々は、GPT-3.5を用いて、15カ国7,286人の参加者の説得的ニュース記事に対する反応を再現する。 対象者の居住国を特定することで,GPT-3.5の対応性の向上が期待できる。 対照的に、ネイティブ言語プロンプトを使用すると、全体的なアライメントを大幅に削減するシフトが発生する。
• 参考スコア（独自算出の注目度）: 4.0937229334408185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of Large Language Models (LLMs) in multicultural environments hinges on their ability to understand users' diverse cultural backgrounds. We measure this capability by having an LLM simulate human profiles representing various nationalities within the scope of a questionnaire-style psychological experiment. Specifically, we employ GPT-3.5 to reproduce reactions to persuasive news articles of 7,286 participants from 15 countries; comparing the results with a dataset of real participants sharing the same demographic traits. Our analysis shows that specifying a person's country of residence improves GPT-3.5's alignment with their responses. In contrast, using native language prompting introduces shifts that significantly reduce overall alignment, with some languages particularly impairing performance. These findings suggest that while direct nationality information enhances the model's cultural adaptability, native language cues do not reliably improve simulation fidelity and can detract from the model's effectiveness.
• Abstract（参考訳）: 多文化環境における大規模言語モデル(LLM)の成功は、ユーザの多様な文化的背景を理解する能力に依存している。 質問紙型心理実験の範囲内で,LLMが様々な国籍を表す人物プロファイルをシミュレートすることで,この能力を計測する。 具体的には、GPT-3.5を用いて、15カ国7,286人の参加者の説得的なニュース記事に対する反応を再現し、その結果を、同じ人口統計学的特徴を共有する実際の参加者のデータセットと比較する。 対象者の居住国を特定することで,GPT-3.5の対応性の向上が期待できる。 対照的に、ネイティブ言語プロンプトの使用は、全体的なアライメントを著しく減少させるシフトを導入し、一部の言語は特にパフォーマンスを損なう。 これらの結果は,直接的国籍情報によってモデルの文化的適応性が向上する一方で,母国語の手がかりはシミュレーションの忠実さを確実に改善せず,モデルの有効性を損なう可能性があることを示唆している。

関連論文リスト

• CultureVLM: Characterizing and Improving Cultural Understanding of Vision-Language Models for over 100 Countries [63.00147630084146]
  視覚言語モデル(VLM)は高度な人間とAIの相互作用を持つが、文化的な理解に苦慮している。 CultureVerseは大規模なマルチモーダルベンチマークで、682の文化的概念、188の国/地域、15の文化的概念、3の質問タイプをカバーしている。 本稿では,文化理解の大幅な向上を実現するために,我々のデータセットを微調整したVLMのシリーズであるCultureVLMを提案する。
  論文  参考訳（メタデータ） (2025-01-02T14:42:37Z)
• Designing Domain-Specific Large Language Models: The Critical Role of Fine-Tuning in Public Opinion Simulation [0.0]
  本稿では,英国家庭縦断研究の社会デマトグラフィーデータを統合した,新しい微調整手法を提案する。 多様な合成プロファイルをエミュレートすることで、微調整されたモデルは、事前訓練されたモデルよりも大幅に優れている。 より広範な意味は、医療や教育などの分野にLLMをデプロイすること、包括的でデータ駆動型意思決定を促進することである。
  論文  参考訳（メタデータ） (2024-09-28T10:39:23Z)
• Extrinsic Evaluation of Cultural Competence in Large Language Models [53.626808086522985]
  本稿では,2つのテキスト生成タスクにおける文化能力の評価に焦点をあてる。 我々は,文化,特に国籍の明示的なキューが,そのプロンプトに乱入している場合のモデル出力を評価する。 異なる国におけるアウトプットのテキスト類似性とこれらの国の文化的価値との間には弱い相関関係がある。
  論文  参考訳（メタデータ） (2024-06-17T14:03:27Z)
• CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
  本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。 人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。 我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
  論文  参考訳（メタデータ） (2024-05-24T01:49:02Z)
• CIVICS: Building a Dataset for Examining Culturally-Informed Values in Large Language Models [59.22460740026037]
  大規模言語モデル(LLM)の社会的・文化的変動を評価するためのデータセット「CIVICS:文化インフォームド・バリュース・インクルーシブ・コーパス・フォー・ソシエティ・インパクト」 我々は、LGBTQIの権利、社会福祉、移民、障害権利、代理など、特定の社会的に敏感なトピックに対処する、手作りの多言語プロンプトのデータセットを作成します。
  論文  参考訳（メタデータ） (2024-05-22T20:19:10Z)
• No Filter: Cultural and Socioeconomic Diversity in Contrastive Vision-Language Models [38.932610459192105]
  コントラッシブ・ビジョン言語モデル(VLM)における文化的・社会経済的多様性の研究 我々の研究は、より包括的なマルチモーダルシステムを構築するために、多様なデータを使うことの価値を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-05-22T16:04:22Z)
• The PRISM Alignment Dataset: What Participatory, Representative and Individualised Human Feedback Reveals About the Subjective and Multicultural Alignment of Large Language Models [67.38144169029617]
  我々は,75か国から1500人の多様な参加者の社会デマトグラフィーを,21大言語モデル(LLM)を用いた8,011のライブ会話において,文脈的嗜好ときめ細かいフィードバックにマッピングした。 PRISMでは、(i)より広い地理的・人口的なフィードバックへの参加、(ii)2つの国(UK, US)の国勢調査表現型サンプル、(iii)詳細な参加者プロファイルにリンクし、個人化とサンプルアーティファクトの帰属を許可する個別評価に寄与する。 我々はPRISMを3つのケーススタディで使用し、人間がどのアライメントデータを提供するかを慎重に検討する必要があることを示す。
  論文  参考訳（メタデータ） (2024-04-24T17:51:36Z)
• Investigating Cultural Alignment of Large Language Models [10.738300803676655]
  LLM(Large Language Models)は,異なる文化で採用されている多様な知識を真にカプセル化していることを示す。 社会学的調査をシミュレートし、実際の調査参加者のモデル応答を参考として、文化的アライメントの定量化を行う。 本稿では,人類学的推論を活用し,文化的アライメントを高める新しい手法である人類学的プロンプティングを紹介する。
  論文  参考訳（メタデータ） (2024-02-20T18:47:28Z)
• Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in Large Language Models [89.94270049334479]
  本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。 LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
  論文  参考訳（メタデータ） (2023-10-19T05:38:23Z)
• EnCBP: A New Benchmark Dataset for Finer-Grained Cultural Background Prediction in English [25.38572483508948]
  文化的背景を持つ自然言語処理モデルを拡張した。 英語を話す5カ国と米国の4州で、言語表現に顕著な違いがあることが示されている。 本研究は,多種多様なNLPタスクに対する文化的背景モデリングの重要性を裏付け,文化関連研究におけるEnCBPの適用性を示すものである。
  論文  参考訳（メタデータ） (2022-03-28T04:57:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。