論文の概要: CCBENCH: Assessing LLM Cultural Competence via Implicitly Signaled Norms using Health Queries

• arxiv url: http://arxiv.org/abs/2607.05405v1
• Date: Mon, 08 Jun 2026 22:52:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 07:26:11.08106
• Title: CCBENCH: Assessing LLM Cultural Competence via Implicitly Signaled Norms using Health Queries
• Title（参考訳）: CCBENCH:健康クェリを用いた暗示ノルムによるLLM文化能力の評価
• Abstract要約: 大規模言語モデル(LLM)における文化的能力評価フレームワークであるCCBENCHを紹介する。 CCBENCH-Healthは、6つの文化にまたがる様々な標準順守状態を示す60の人格を含む。 5つの主要なモデルをベンチマークすると、最善者が文化的に適切なレスポンスを達成しても、その時間の20～30%しか得られないことが明らかになった。
• 参考スコア（独自算出の注目度）: 42.15271207948674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To interact with users fairly and without stereotyping, AI models must display cultural competency, i.e., the ability to infer and adapt to a user's implicitly signaled cultural values, rather than relying on static demographic traits. We introduce CCBENCH, a framework for evaluating cultural competency in large language models (LLMs), treating culture as a continuum of norm adherence states rather than as a binary state of cultural belongingness. As a case study on health, we create CCBENCH-Health, which includes 60 theoretically grounded personas exhibiting varied norm-adherence states across six cultures, each engaging in 18 realistic dialogues. Each persona is evaluated on 52 authentic healthcare questions drawn from real user forums, yielding 3,120 unique interactions. Benchmarking five leading models reveals that even the best achieve culturally appropriate responses only 20-30% of the time. When explicitly prompted to focus on culturally relevant cues from the conversational history (CoT), performance improves modestly by 3-5% on average. We find that models perform best when personas avoid cultural norms rather than follow them, revealing a persistent asymmetry, suggesting a preference in the models to align with built-in biases than adapt to cultural cues. This is especially observed in the Afghan context (Avg: 8.8%), where cultural cues rarely yield appropriate health advice. Finally, we find that models sometimes adapt more readily to implicit, cultural conversational styles than to explicitly stated cultural practices, though this varies across cultures.
• Abstract（参考訳）: ステレオタイピングなしでユーザーと公平に対話するためには、AIモデルは静的な人口統計学的特徴に頼るのではなく、ユーザーの暗黙的にシグナルされた文化的価値観を推測し適応する能力を示す必要がある。 我々は,大規模言語モデル(LLM)における文化能力を評価する枠組みであるCCBENCHを紹介する。 健康に関するケーススタディとして、CCBENCH-Healthを作成した。CCBENCH-Healthは、6つの文化にまたがる様々な規範順守状態を示す60人の理論的根拠を持つペルソナを含み、それぞれが18の現実的な対話に従事している。 各ペルソナは、実際のユーザフォーラムから引き出された52の真のヘルスケア質問に基づいて評価され、3120のユニークなインタラクションが生成される。 5つの主要なモデルをベンチマークすると、最善者が文化的に適切なレスポンスを達成しても、その時間の20～30%しか得られないことが明らかになった。 会話の歴史(CoT)から文化的に関連性のある手がかりに明示的に焦点を合わせると、パフォーマンスは平均で3～5%改善する。 モデルは、ペルソナがそれに従うよりも文化規範を避け、永続的な非対称性を明らかにし、文化的な習慣に適応するよりも、ビルトインバイアスと整合するモデルの方が好適であることを示唆する。 これは特にアフガンの文脈(Avg: 8.8%)で見られ、文化的な手がかりが適切な健康アドバイスをもたらすことは滅多にない。 最後に、モデルが文化的な慣行を明示するよりも、暗黙の文化的な会話スタイルに容易に適応することもありますが、これは文化によって異なります。

関連論文リスト

• LLMs Infer Cultural Context but Fail to Apply It When Responding [17.31205603254047]
  文化的・実践的反応推論(CAPRI)は,多様な文化的手がかりと会話のデータセットである。 最先端のLLMによる実験では、モデルは文化的背景を推測し、関連する慣習を思い出すことができるが、しばしばその情報を利用することができない。 文化的な手がかりが蓄積されるにつれて、モデルは回答に適応する傾向にあるが、前者は文化中立ではなく、しばしばモデルの起源の国と一致している。
  論文  参考訳（メタデータ） (2026-06-16T08:53:24Z)
• Whose Norms? Disentangling Cultural and Personal Alignment in Large Language Models [66.34115263472931]
  大規模言語モデルは、文化的規範と個人の嗜好のバランスを必要とする社会的意思決定の状況にますます使われてきている。 PACT(Personal-Preference and Cultural-Norm Trade-off framework)を導入し,モデルが文化的規範に従うか,あるいは個人の嗜好を許容するかを評価する。 PACTに関する5つの国による研究は、人間の文化のフォローは主にシナリオ国によって行われており、参加者が自身の文化的文脈を判断する際の合意は最低であることを示している。
  論文  参考訳（メタデータ） (2026-06-05T22:20:30Z)
• CultureForest: Understanding and Evaluating Cultural Norm Grounded Reasoning in LLMs [59.09971492475217]
  TextitCultural Norm Grounded ReasoningのベンチマークであるCultureForestを紹介する。 CultureForestは8つのドメインで5,378のサンプルと53の国/リージョンで構成されている。 大規模な実験では、トップ層モデルでさえ、オープンな設定で大幅に劣化していることが明らかになった。
  論文  参考訳（メタデータ） (2026-06-01T08:25:12Z)
• The American Ghost in the Machine: How language models align culturally and the effects of cultural prompting [0.0]
  我々は、VSM13国際サーベイとホフステデの文化的側面を用いて、人気のある大言語モデル(LLM)の文化的アライメントを特定する。 次に、これらのモデルの他の文化、すなわち中国、フランス、インド、イラン、日本、米国への適応性をテストするために、文化的なプロンプトを使用します。 テスト対象となった8つのLSMの大多数は、その文化が特定されていない場合に米国を好んでおり、他の文化に刺激された場合の結果は様々である。
  論文  参考訳（メタデータ） (2025-12-13T23:11:41Z)
• Hire Your Anthropologist! Rethinking Culture Benchmarks Through an Anthropological Lens [9.000522371422628]
  ベンチマークのフレームカルチャーを分類する4つのフレームワークを紹介します。 20の文化指標を質的に検討し,6つの方法論的問題を同定した。 我々の目標は、静的リコールタスクを超える文化ベンチマークの開発をガイドすることです。
  論文  参考訳（メタデータ） (2025-10-07T13:42:44Z)
• Cross-Cultural Transfer of Commonsense Reasoning in LLMs: Evidence from the Arab World [68.19795061447044]
  本稿では,アラブ世界におけるコモンセンス推論の異文化間移動について検討する。 アラブ13カ国を対象とした文化基盤のコモンセンス推論データセットを用いて,軽量アライメント手法の評価を行った。 以上の結果から,他国の文化特有例は12例に過ぎず,他国の文化特有例を平均10%向上させることができた。
  論文  参考訳（メタデータ） (2025-09-23T17:24:14Z)
• CultureScope: A Dimensional Lens for Probing Cultural Understanding in LLMs [57.653830744706305]
  CultureScopeは、大規模な言語モデルにおける文化的理解を評価するための、これまでで最も包括的な評価フレームワークである。 文化的な氷山理論に触発されて、文化知識分類のための新しい次元スキーマを設計する。 実験結果から,文化的理解を効果的に評価できることが示唆された。
  論文  参考訳（メタデータ） (2025-09-19T17:47:48Z)
• Fluent but Foreign: Even Regional LLMs Lack Cultural Alignment [24.871503011248777]
  大規模な言語モデル(LLM)は世界中で使用されているが、西洋文化の傾向を示す。 我々は,6つの指標と6つのグローバルLLMを2次元(値とプラクティス)で評価する。 タスク全体では、Indicモデルはグローバルモデルよりもインド標準とよく一致しない。
  論文  参考訳（メタデータ） (2025-05-25T01:59:23Z)
• CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
  本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。 人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。 我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
  論文  参考訳（メタデータ） (2024-05-24T01:49:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。