論文の概要: Cultural (In)Competence: Investigating Culture-Specific Stereotype Detection Capabilities of LLMs
- arxiv url: http://arxiv.org/abs/2610.22545v1
- Date: Thu, 15 Oct 2026 18:42:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.632181
- Title: Cultural (In)Competence: Investigating Culture-Specific Stereotype Detection Capabilities of LLMs
- Title(参考訳): 文化コンピテンス:LLMの文化特異的ステレオタイプ検出能力の検討
- Abstract要約: 大規模言語モデル (LLM) が文化的文脈を確実に考慮せず, ステレオタイプの存在を過大評価していることを示す。
非英語のプロンプトは文化的文脈の考慮を改善し、それによってより効果的な予測につながる。
追加の命令チューニングは偽陽性率を低減し、トレーニングデータサイズが非単調な検出効率を中和する。
- 参考スコア(独自算出の注目度): 45.72219232008366
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stereotypes are subjective constructs that are mediated by the cultural context in which they are viewed. Successfully modeling them thus also requires cultural competence. When using large language models (LLMs) for stereotype-related tasks, such as their detection, it is therefore crucial that models can access relevant cultural knowledge and adjust responses accordingly. Since LLMs have shown disparities in what cultural knowledge is available to them, their capacity regarding stereotypes may also be disparate across languages and cultural contexts (e.g., for non-English languages or for non-US contexts). In this paper, we systematically investigate the effectiveness of LLMs for culture-specific stereotype detection across three factors: (1) the prompting language, (2) the instruction tuning language, and (3) the fine-tuning dataset size. We conduct experiments for US, Dutch, and Chinese cultural contexts. Our results suggest that LLMs do not reliably account for cultural contexts and overpredict the presence of stereotypes. Non-English prompts seem to improve consideration of cultural context and thus lead to more effective predictions. Moreover, we find that additional instruction tuning reduces false-positive rates and that training data size moderates detection effectiveness non-monotonically.
- Abstract(参考訳): ステレオタイプは、それらを見る文化的な文脈によって仲介される主観的な構成である。
これらをうまくモデル化するには文化的な能力も必要である。
大規模言語モデル(LLM)をステレオタイプ関連タスク(例えば検出など)に使用する場合、モデルが関連する文化的知識にアクセスし、それに応じて応答を調整することが重要である。
LLMは、文化的知識がどのような形で利用できるかに格差を示してきたため、ステレオタイプに関する能力は、言語や文化的な文脈(例えば、非英語や非アメリカ的文脈)によっても異なる可能性がある。
本稿では,(1)プロンプト言語,(2)インストラクションチューニング言語,(3)微調整データセットサイズという3つの要因にまたがる,文化特異的ステレオタイプ検出におけるLCMの有効性を体系的に検討する。
われわれは米国、オランダ、中国の文化状況に関する実験を行っている。
以上の結果から,LLMは文化的文脈を確実に考慮し,ステレオタイプの存在を過大評価するものではないことが示唆された。
非英語のプロンプトは文化的文脈の考慮を改善し、それによってより効果的な予測につながる。
さらに、追加の命令チューニングにより偽陽性率が減少し、トレーニングデータサイズが非単調な検出効率を低下させることがわかった。
関連論文リスト
- LLMs Infer Cultural Context but Fail to Apply It When Responding [17.31205603254047]
文化的・実践的反応推論(CAPRI)は,多様な文化的手がかりと会話のデータセットである。
最先端のLLMによる実験では、モデルは文化的背景を推測し、関連する慣習を思い出すことができるが、しばしばその情報を利用することができない。
文化的な手がかりが蓄積されるにつれて、モデルは回答に適応する傾向にあるが、前者は文化中立ではなく、しばしばモデルの起源の国と一致している。
論文 参考訳(メタデータ) (2026-06-16T08:53:24Z) - Metaphors We Compute By: A Computational Audit of Cultural Translation vs. Thinking in LLMs [15.854854496840074]
大規模言語モデル(LLM)は、多くの言語で理解し、応答できるため、多言語として記述されることが多い。
本稿では,創造的な文章作成作業における文化的傾きの予備的な計算監査について述べる。
論文 参考訳(メタデータ) (2026-04-06T15:00:05Z) - LLMs and Cultural Values: the Impact of Prompt Language and Explicit Cultural Framing [0.21485350418225244]
大規模言語モデル(LLM)は、世界中のユーザによって急速に採用され、さまざまな言語でそれらと対話している。
言語と文化のフレーミングが、異なる国の人的価値にどのように影響するかを検討する。
論文 参考訳(メタデータ) (2025-11-06T02:09:29Z) - From Surveys to Narratives: Rethinking Cultural Value Adaptation in LLMs [62.9861554207279]
LLM(Large Language Models)における文化的価値の適応は大きな課題である。
これまでの作業は主に、World Values Survey (WVS)データを使用して、LLMをさまざまな文化的価値と整合させる。
我々は,文化価値適応のためのWVSベースのトレーニングについて検討し,調査データのみに頼って文化規範を実践し,事実知識に干渉することを発見した。
論文 参考訳(メタデータ) (2025-05-22T09:00:01Z) - Localized Cultural Knowledge is Conserved and Controllable in Large Language Models [20.411764699679058]
文化的な文脈を明示的に提供することで、モデルが文化的に局所的な応答を生成できる能力が大幅に向上することを示す。
しかし、明確な促進効果にもかかわらず、答えは多様性を減らし、ステレオタイプに傾向がある。
我々は、すべての非英語言語にまたがって保存された明示的な文化的カスタマイズベクターを特定し、LLMを合成英語文化世界モデルから、各非英語文化世界に向けて操ることを可能にする。
論文 参考訳(メタデータ) (2025-04-14T12:53:58Z) - Self-Alignment: Improving Alignment of Cultural Values in LLMs via In-Context Learning [20.24633389489255]
In-context Learning(ICL)とヒューマンサーベイデータを組み合わせた簡易で安価な手法を提案する。
本手法は、英語以外のテスト言語で有用であることが証明され、文化的に多種多様な国に対応する文化的価値との整合性を向上させることができる。
論文 参考訳(メタデータ) (2024-08-29T12:18:04Z) - Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
大規模言語モデル(LLM)は、かなりの常識的理解を示している。
本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
論文 参考訳(メタデータ) (2024-05-07T20:28:34Z) - Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in
Large Language Models [89.94270049334479]
本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。
LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
論文 参考訳(メタデータ) (2023-10-19T05:38:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。