論文の概要: CulturalBench: a Robust, Diverse and Challenging Benchmark on Measuring the (Lack of) Cultural Knowledge of LLMs
- arxiv url: http://arxiv.org/abs/2410.02677v1
- Date: Thu, 3 Oct 2024 17:04:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 01:42:49.653349
- Title: CulturalBench: a Robust, Diverse and Challenging Benchmark on Measuring the (Lack of) Cultural Knowledge of LLMs
- Title（参考訳）: カルチャーベンチ : LLMの文化的知識測定のためのロバスト・ディヴァース・チェレージングベンチマーク
- Authors: Yu Ying Chiu, Liwei Jiang, Bill Yuchen Lin, Chan Young Park, Shuyue Stella Li, Sahithya Ravi, Mehar Bhatia, Maria Antoniak, Yulia Tsvetkov, Vered Shwartz, Yejin Choi,
- Abstract要約: 文化ベンチについて紹介する: 文化的知識を評価するための1,227の人文的・人文的な質問である。
同じ質問を共有しながら異なる質問をするCulturalBench-EasyとCulturalBench-Hardの2つの設定でモデルを評価する。
人間のパフォーマンス(92.6%の精度)と比較して、カルチャーベンチ・ハードは、最もパフォーマンスの良いモデル(GPT-4o)が61.5%、最悪のモデル(Llama3-8b)が21.4%であるフロンティアのLLMにとってより難しい。
- 参考スコア（独自算出の注目度）: 75.82306181299153
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To make large language models (LLMs) more helpful across diverse cultures, it is essential to have effective cultural knowledge benchmarks to measure and track our progress. Effective benchmarks need to be robust, diverse, and challenging. We introduce CulturalBench: a set of 1,227 human-written and human-verified questions for effectively assessing LLMs' cultural knowledge, covering 45 global regions including the underrepresented ones like Bangladesh, Zimbabwe, and Peru. Questions - each verified by five independent annotators - span 17 diverse topics ranging from food preferences to greeting etiquettes. We evaluate models on two setups: CulturalBench-Easy and CulturalBench-Hard which share the same questions but asked differently. We find that LLMs are sensitive to such difference in setups (e.g., GPT-4o with 27.3% difference). Compared to human performance (92.6% accuracy), CulturalBench-Hard is more challenging for frontier LLMs with the best performing model (GPT-4o) at only 61.5% and the worst (Llama3-8b) at 21.4%. Moreover, we find that LLMs often struggle with tricky questions that have multiple correct answers (e.g., What utensils do the Chinese usually use?), revealing a tendency to converge to a single answer. Our results also indicate that OpenAI GPT-4o substantially outperform other proprietary and open source models in questions related to all but one region (Oceania). Nonetheless, all models consistently underperform on questions related to South America and the Middle East.
- Abstract（参考訳）: 大きな言語モデル(LLM)を多様な文化でより有用なものにするためには、進捗を計測し追跡するための効果的な文化的知識ベンチマークを持つことが不可欠です。
効果的なベンチマークは堅牢で多様性があり、困難である必要があります。
バングラデシュ、ジンバブエ、ペルーなど、世界45か国をカバーし、LLMの文化的知識を効果的に評価するための1,227の人文的・人文的な質問であるCulturalBenchを紹介します。
5つの独立したアノテータによってそれぞれ検証された質問は、食べ物の好みから挨拶のエチケットまで、17のさまざまなトピックにまたがる。
同じ質問を共有しながら異なる質問をするCulturalBench-EasyとCulturalBench-Hardの2つの設定でモデルを評価する。
LLMはそのようなセットアップの違いに敏感である(例: GPT-4o と 27.3% の差)。
人間のパフォーマンス(92.6%の精度)と比較して、カルチャーベンチ・ハードは、最もパフォーマンスの良いモデル(GPT-4o)が61.5%、最悪のモデル(Llama3-8b)が21.4%であるフロンティアのLLMにとってより難しい。
さらに、LLMは複数の正しい答えを持つ難解な質問(例えば、中国人は通常どの道具を使うのか?)に悩まされ、一つの答えに収束する傾向を示す。
また,OpenAI GPT-4oは,1つのリージョン(オセアニア)を除くすべての領域に関する質問において,他のプロプライエタリおよびオープンソースモデルよりも大幅に優れていた。
それでも、すべてのモデルは、南アメリカと中東に関する質問で一貫してパフォーマンスが劣っている。
関連論文リスト
- Self-Pluralising Culture Alignment for Large Language Models [36.689491885394034]
本稿では,大規模言語モデルと多言語文化との整合性を実現するフレームワークであるCultureSPAを提案する。
カルチャー・アウェア/アウェアアウトプットを比較することで、カルチャー関連インスタンスを検出し、収集することができる。
広範囲な実験により、CultureSPAは、一般の能力を損なうことなく、多様な文化へのLCMのアライメントを著しく改善することが示された。
論文 参考訳（メタデータ） (2024-10-16T19:06:08Z) - Cultural Value Differences of LLMs: Prompt, Language, and Model Size [35.176429953825924]
本研究の目的は,大規模言語モデル(LLM)による文化的価値の行動パターンの同定である。
研究された変種には、質問の順序付け、プロンプト言語、モデルサイズが含まれる。
実験の結果,LLMのクエリ言語とモデルサイズが文化的価値の相違をもたらす主な要因であることが判明した。
論文 参考訳（メタデータ） (2024-06-17T12:35:33Z) - BLEnD: A Benchmark for LLMs on Everyday Knowledge in Diverse Cultures and Languages [39.17279399722437]
大型言語モデル(LLM)は、特に多種多様な地域や非英語言語において、日常生活に関する文化特有の知識を欠いていることが多い。
BLEnDはLLMの日常的な知識を様々な文化や言語で評価するために設計された手作りのベンチマークである。
提案手法は,短問合せと複数問合せの2つの形式を含むベンチマークを構築した。
論文 参考訳（メタデータ） (2024-06-14T11:48:54Z) - CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。
人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。
我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
論文 参考訳（メタデータ） (2024-05-24T01:49:02Z) - Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
大規模言語モデル(LLM)は、かなりの常識的理解を示している。
本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
論文 参考訳（メタデータ） (2024-05-07T20:28:34Z) - Does Mapo Tofu Contain Coffee? Probing LLMs for Food-related Cultural Knowledge [47.57055368312541]
FmLAMA(FmLAMA)は、食品関連の文化的事実と食実践のバリエーションに着目した多言語データセットである。
我々は,LLMを様々なアーキテクチャや構成にわたって分析し,その性能を単言語と多言語の両方で評価する。
論文 参考訳（メタデータ） (2024-04-10T08:49:27Z) - CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge [69.82940934994333]
我々は、人間とAIのコラボレーションを活用して、挑戦的な評価データセットを構築するインタラクティブなレッドチームシステムであるCulturalTeamingを紹介する。
我々の研究は、CulturalTeamingの様々なAI支援モードが、文化的な質問の作成においてアノテータを支援することを明らかにした。
CULTURALBENCH-V0.1は、ユーザのリピートの試みにより、コンパクトだが高品質な評価データセットである。
論文 参考訳（メタデータ） (2024-04-10T00:25:09Z) - Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in
Large Language Models [89.94270049334479]
本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。
LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
論文 参考訳（メタデータ） (2023-10-19T05:38:23Z) - Cultural Alignment in Large Language Models: An Explanatory Analysis Based on Hofstede's Cultural Dimensions [10.415002561977655]
本研究は,ホフステデの文化次元の枠組みを用いて文化的アライメントを定量化する文化アライメントテスト (Hoftede's CAT) を提案する。
我々は、米国、中国、アラブ諸国といった地域の文化的側面に対して、大規模言語モデル(LLM)を定量的に評価する。
その結果, LLMの文化的アライメントを定量化し, 説明的文化的次元におけるLCMの差異を明らかにすることができた。
論文 参考訳（メタデータ） (2023-08-25T14:50:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。