論文の概要: CulturalRiddles: A Multicultural Benchmark of Riddles

• arxiv url: http://arxiv.org/abs/2610.29968v1
• Date: Wed, 21 Oct 2026 16:20:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.405861
• Title: CulturalRiddles: A Multicultural Benchmark of Riddles
• Title（参考訳）: Culture Riddles: フレームワークの多文化ベンチマーク
• Abstract要約: カルチャーリドル(CulturalRiddles)は、人間によって作られたオリジナルの、文化に根ざしたリドルのベンチマークである。 人体自動評価と大規模評価の両方を用いて28個のLCM構成をベンチマークした。 ベンチマークの言語的および文化的カバレッジを拡張するために、オープンなコントリビューションプロセスとともに、すべてのアーティファクトを公開しています。
• 参考スコア（独自算出の注目度）: 56.880388115944776
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: As LLMs expand their language coverage, evaluating how well they understand and represent diverse cultures becomes increasingly important. However, many benchmarks remain English-centric, with limited cultural coverage and a focus on factual knowledge over its application in real-world cultural contexts. We propose CulturalRiddles, a benchmark of original, culturally grounded riddles created entirely by humans through a participatory community effort, spanning 62 cultures (45 countries, 51 languages). These riddles are deeply rooted in their respective cultures and require abductive and compositional reasoning, alongside detailed factual and social knowledge, language skills, and an understanding of culturally specific associations. We benchmark 28 LLM configurations using both automatic and large-scale human evaluation. Even frontier models achieve at most 22% accuracy in some communities. We publicly release all artifacts alongside an open contribution process to expand the benchmark's linguistic and cultural coverage.
• Abstract（参考訳）: LLMが言語カバレッジを拡大するにつれ、多様文化の理解と表現がいかに重要であるかを評価することがますます重要になっている。 しかし、多くのベンチマークは英語中心であり、文化的な範囲は限られており、実世界の文化的文脈におけるその応用に関する事実的な知識に焦点が当てられている。 我々は,62の文化(45か国,51か国)にまたがる参加型コミュニティの取り組みを通じて,人間によって完全に創造された,文化的に根ざしたオリジナルリドルのベンチマークであるCulturalRiddlesを提案する。 これらのライドルはそれぞれの文化に深く根ざし、詳細な事実や社会的知識、言語スキル、文化的に特定の関連性を理解するとともに、誘惑的で構成的な推論を必要とする。 人体自動評価と大規模評価の両方を用いて28個のLCM構成をベンチマークした。 フロンティアモデルでさえ、一部のコミュニティでは少なくとも22%の精度で達成されている。 ベンチマークの言語的および文化的カバレッジを拡張するために、オープンなコントリビューションプロセスとともに、すべてのアーティファクトを公開しています。

関連論文リスト

• LLMs as Cultural Archives: Cultural Commonsense Knowledge Graph Extraction [57.23766971626989]
  大規模言語モデル(LLM)は、多様なWebスケールデータから学んだ豊富な文化的知識を符号化する。 文化常識知識グラフ(CCKG)構築のための反復的,即時的枠組みを提案する。 対象文化が英語ではない場合でも、文化知識グラフは英語でよりよく認識されている。
  論文  参考訳（メタデータ） (2026-01-25T20:05:04Z)
• CultureScope: A Dimensional Lens for Probing Cultural Understanding in LLMs [57.653830744706305]
  CultureScopeは、大規模な言語モデルにおける文化的理解を評価するための、これまでで最も包括的な評価フレームワークである。 文化的な氷山理論に触発されて、文化知識分類のための新しい次元スキーマを設計する。 実験結果から,文化的理解を効果的に評価できることが示唆された。
  論文  参考訳（メタデータ） (2025-09-19T17:47:48Z)
• MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs [37.98920430188422]
  MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。 モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。 オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
  論文  参考訳（メタデータ） (2025-05-27T19:29:40Z)
• Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
  大規模言語モデル(LLM)は、かなりの常識的理解を示している。 本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
  論文  参考訳（メタデータ） (2024-05-07T20:28:34Z)
• CULTURE-GEN: Revealing Global Cultural Perception in Language Models through Natural Language Prompting [73.94059188347582]
  110か国・地域での3つのSOTAモデルの文化認識を,文化条件付き世代を通して8つの文化関連トピックについて明らかにした。 文化条件付き世代は、デフォルトの文化と区別される余分な文化を区別する言語的な「マーカー」から成り立っていることが判明した。
  論文  参考訳（メタデータ） (2024-04-16T00:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。