論文の概要: The Culture Within: Towards Mechanistic Understanding of Cultural Reasoning in LLMs
- arxiv url: http://arxiv.org/abs/2610.27202v1
- Date: Mon, 19 Oct 2026 19:36:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.482684
- Title: The Culture Within: Towards Mechanistic Understanding of Cultural Reasoning in LLMs
- Title(参考訳): 内部文化 : LLMにおける文化的推論の機械的理解を目指して
- Abstract要約: LLM(Large Language Models)が文化情報をどのように利用するかのベンチマークとメカニスティックな研究であるCultureLensを紹介した。
CultureLensには75の国で9,261のシナリオがあり、国、価値、真ノーム、矛盾するノームの証拠が体系的に変化する。
Llama-3.1-8B、Gemma-3-12B、Qwen-3.5-27Bは矛盾するノルムを32-47の正解率で表している。
- 参考スコア(独自算出の注目度): 86.35146817269327
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) increasingly operate across culturally diverse settings, yet existing evaluations largely measure cultural behavior at the output level. We introduce CultureLens, a reference-grounded benchmark and mechanistic study of how LLMs use cultural information. CultureLens contains 9,261 scenarios across 75 countries and systematically varies country, value, true-norm, and contradictory-norm evidence. Across Llama-3.1-8B, Gemma-3-12B, and Qwen-3.5-27B, stating a contradictory norm lowers aligned answers by 32-47 percentage points, even when the model answers correctly from the country alone. Mechanistically, models default to Anglophone norms when no country is given. The failure under a contradictory norm is not one of missing knowledge, as blocking the norm inside the model restores the correct answer in most cases. Models accept a stated norm according to how it is presented and not whether it is true, which leaves them most exposed to errors in retrieved content. Supervised fine-tuning with contradictory-norm examples raises aligned answers under a contradictory norm to 85-93%, including on unseen countries, at a small cost under a true norm.
- Abstract(参考訳): 大規模言語モデル(LLM)は、文化的に多様な設定で運用されるようになっているが、既存の評価は、出力レベルでの文化的振る舞いを主に測定している。
本稿では,LLMが文化情報をどのように利用するかの基準付きベンチマークと力学研究であるCultureLensを紹介する。
CultureLensには75の国で9,261のシナリオがあり、国、価値、真ノーム、矛盾するノームの証拠が体系的に変化する。
Llama-3.1-8B、Gemma-3-12B、Qwen-3.5-27Bをまたいで、矛盾するノルムは、たとえモデルが国から正しく答えたとしても、32-47パーセントの回答を下げる。
機械的には、モデルは国が与えられない場合、アングロフォンの標準にデフォルトされる。
矛盾する規範の下での失敗は、ほとんどの場合、モデル内の規範をブロックすることが正しい答えを復元するので、知識の欠如の1つではない。
モデルは、どのように提示されるか、それが真実かどうかに応じて、記述された規範を受け入れる。
矛盾するノルムの例による監督された微調整は、矛盾するノルムの回答を85-93%に引き上げる。
関連論文リスト
- DiSCo: A Distribution-First Steering and Cultural Prior Evaluation Framework for Measuring Cultural Preference Bias in LLMs [1.2802720336459552]
大規模な言語モデルは、他のものよりも体系的に一部の文化を好むことができる。
既存のベンチマークは、単一の"正しい"回答に対して精度を評価する。
分散優先型強制選択評価フレームワークである提案手法を提案する。
論文 参考訳(メタデータ) (2026-09-09T14:40:08Z) - Whose Norms? Disentangling Cultural and Personal Alignment in Large Language Models [66.34115263472931]
大規模言語モデルは、文化的規範と個人の嗜好のバランスを必要とする社会的意思決定の状況にますます使われてきている。
PACT(Personal-Preference and Cultural-Norm Trade-off framework)を導入し,モデルが文化的規範に従うか,あるいは個人の嗜好を許容するかを評価する。
PACTに関する5つの国による研究は、人間の文化のフォローは主にシナリオ国によって行われており、参加者が自身の文化的文脈を判断する際の合意は最低であることを示している。
論文 参考訳(メタデータ) (2026-06-05T22:20:30Z) - CultureForest: Understanding and Evaluating Cultural Norm Grounded Reasoning in LLMs [59.09971492475217]
TextitCultural Norm Grounded ReasoningのベンチマークであるCultureForestを紹介する。
CultureForestは8つのドメインで5,378のサンプルと53の国/リージョンで構成されている。
大規模な実験では、トップ層モデルでさえ、オープンな設定で大幅に劣化していることが明らかになった。
論文 参考訳(メタデータ) (2026-06-01T08:25:12Z) - From Surveys to Narratives: Rethinking Cultural Value Adaptation in LLMs [62.9861554207279]
LLM(Large Language Models)における文化的価値の適応は大きな課題である。
これまでの作業は主に、World Values Survey (WVS)データを使用して、LLMをさまざまな文化的価値と整合させる。
我々は,文化価値適応のためのWVSベースのトレーニングについて検討し,調査データのみに頼って文化規範を実践し,事実知識に干渉することを発見した。
論文 参考訳(メタデータ) (2025-05-22T09:00:01Z) - NormAd: A Framework for Measuring the Cultural Adaptability of Large Language Models [26.64843536942309]
大規模言語モデル(LLM)は、ユーザ価値や文化にアウトプットを適応させる必要があります。
LLMの文化的適応性を評価するための評価フレームワークであるNormAdを紹介する。
我々はNormAd-Etiを作成した。これは、75か国における、社会的な倫理的関連文化規範を表す2.6kの状況記述のベンチマークである。
論文 参考訳(メタデータ) (2024-04-18T18:48:50Z) - Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in
Large Language Models [89.94270049334479]
本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。
LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
論文 参考訳(メタデータ) (2023-10-19T05:38:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。