論文の概要: ChronoCulture: Evaluating Cultural Awareness Across Time in Large Language Models
- arxiv url: http://arxiv.org/abs/2610.20472v1
- Date: Wed, 14 Oct 2026 16:50:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.257146
- Title: ChronoCulture: Evaluating Cultural Awareness Across Time in Large Language Models
- Title(参考訳): クロノカルチャー:大規模言語モデルにおける時間的文化意識の評価
- Abstract要約: クロノカルチャー(ChronoCulture)は、72か国にわたる縦断調査データから作られた10,360対の時間対のベンチマークである。
モデルは、ある時点における国の態度を予測できるが、それらの態度がどのように変化するかを確実に把握できない。
- 参考スコア(独自算出の注目度): 22.83031795418019
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cultural attitudes and social norms evolve over time, yet most cultural benchmarks for large language models (LLMs) treat culture as a static attribute of a country or region. We introduce ChronoCulture, a benchmark of 10,360 temporal pairs built from longitudinal survey data across 72 countries. Each pair contains the same survey question asked in the same country in an older and a newer year, with full population response distributions as ground truth. Across six LLMs, we find that models can often predict a country's attitudes at one point in time but do not reliably capture how those attitudes change. Their predictions for different years tend to stay close together, failing to capture much of the observed change. Specifying the intended year in the prompt also offers little overall improvement in alignment with survey responses. These findings suggest that models often present a largely static picture of cultural attitudes, highlighting the need to evaluate cultural awareness across time.
- Abstract(参考訳): 文化的態度や社会的規範は時間とともに進化するが、大きな言語モデル(LLM)のほとんどの文化的基準は、文化を国や地域の静的な属性として扱う。
72か国にわたる縦断調査データから作成した10,360対の時間対のベンチマークであるChronoCultureを紹介する。
それぞれのペアには、同じ国で、同じ年と新しい年に質問されたのと同じ調査質問が含まれており、人口反応の完全な分布は、基礎的な真実である。
6つのLDMで、ある時点における国の態度を予測できるが、その態度がどう変化するかは確実に把握できないことが分かりました。
異なる年の予測は互いに近づき、観測された変化の多くを捉えない傾向にある。
このプロンプトで予定年を指定することで、調査回答の全体的な改善もほとんどない。
これらの結果は、しばしばモデルが文化的態度の静的なイメージを示し、時間の経過とともに文化的意識を評価する必要性を強調していることを示唆している。
関連論文リスト
- Accurate in space, unreliable in time: how LLMs represent national cultural change [2.0690116998275734]
文化心理学の研究は、文化的価値が時間とともに異なる速度と方向で変化することを示している。
文化を意識した"モデルでは、文化が現在どこにあるのかだけでなく、時間とともにどのように変化したのかを捉えなければなりません。
本研究では,20年以上にわたる世界価値調査データを用いて,この文化的意識の欠落について検討する。
論文 参考訳(メタデータ) (2026-09-01T22:03:06Z) - CCBENCH: Assessing LLM Cultural Competence via Implicitly Signaled Norms using Health Queries [42.15271207948674]
大規模言語モデル(LLM)における文化的能力評価フレームワークであるCCBENCHを紹介する。
CCBENCH-Healthは、6つの文化にまたがる様々な標準順守状態を示す60の人格を含む。
5つの主要なモデルをベンチマークすると、最善者が文化的に適切なレスポンスを達成しても、その時間の20~30%しか得られないことが明らかになった。
論文 参考訳(メタデータ) (2026-06-08T22:52:34Z) - Whose Norms? Disentangling Cultural and Personal Alignment in Large Language Models [66.34115263472931]
大規模言語モデルは、文化的規範と個人の嗜好のバランスを必要とする社会的意思決定の状況にますます使われてきている。
PACT(Personal-Preference and Cultural-Norm Trade-off framework)を導入し,モデルが文化的規範に従うか,あるいは個人の嗜好を許容するかを評価する。
PACTに関する5つの国による研究は、人間の文化のフォローは主にシナリオ国によって行われており、参加者が自身の文化的文脈を判断する際の合意は最低であることを示している。
論文 参考訳(メタデータ) (2026-06-05T22:20:30Z) - Hire Your Anthropologist! Rethinking Culture Benchmarks Through an Anthropological Lens [9.000522371422628]
ベンチマークのフレームカルチャーを分類する4つのフレームワークを紹介します。
20の文化指標を質的に検討し,6つの方法論的問題を同定した。
我々の目標は、静的リコールタスクを超える文化ベンチマークの開発をガイドすることです。
論文 参考訳(メタデータ) (2025-10-07T13:42:44Z) - CAIRe: Cultural Attribution of Images by Retrieval-Augmented Evaluation [61.130639734982395]
本稿では,画像の文化的関連度を評価する新しい評価指標であるCAIReを紹介する。
本フレームワークは,イメージ内の実体と概念を知識ベースに基盤として,実情報を用いて各文化ラベルに対して独立した評価を行う。
論文 参考訳(メタデータ) (2025-06-10T17:16:23Z) - From Surveys to Narratives: Rethinking Cultural Value Adaptation in LLMs [62.9861554207279]
LLM(Large Language Models)における文化的価値の適応は大きな課題である。
これまでの作業は主に、World Values Survey (WVS)データを使用して、LLMをさまざまな文化的価値と整合させる。
我々は,文化価値適応のためのWVSベースのトレーニングについて検討し,調査データのみに頼って文化規範を実践し,事実知識に干渉することを発見した。
論文 参考訳(メタデータ) (2025-05-22T09:00:01Z) - Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in
Large Language Models [89.94270049334479]
本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。
LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
論文 参考訳(メタデータ) (2023-10-19T05:38:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。