論文の概要: Neuron-Level Analysis of Cultural Understanding in Large Language Models

• arxiv url: http://arxiv.org/abs/2510.08284v1
• Date: Thu, 09 Oct 2025 14:35:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.136396
• Title: Neuron-Level Analysis of Cultural Understanding in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける文化的理解のニューロンレベル解析
• Authors: Taisei Yamamoto, Ryoma Kumon, Danushka Bollegala, Hitomi Yanaka,
• Abstract要約: 大規模言語モデル(LLM)は、その公正で包括的な文化的理解を確実にするために、世界中で展開されている。 我々は、文化行動を促進するニューロンを特定するために、ニューロンレベルの分析を行う。 我々は,文化によらず文化理解に寄与する文化一般ニューロンと,個々の文化に結びついている文化特異的ニューロンの両方を同定する。
• 参考スコア（独自算出の注目度）: 34.65197313327234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) are increasingly deployed worldwide, ensuring their fair and comprehensive cultural understanding is important. However, LLMs exhibit cultural bias and limited awareness of underrepresented cultures, while the mechanisms underlying their cultural understanding remain underexplored. To fill this gap, we conduct a neuron-level analysis to identify neurons that drive cultural behavior, introducing a gradient-based scoring method with additional filtering for precise refinement. We identify both culture-general neurons contributing to cultural understanding regardless of cultures, and culture-specific neurons tied to an individual culture. These neurons account for less than 1% of all neurons and are concentrated in shallow to middle MLP layers. We validate their role by showing that suppressing them substantially degrades performance on cultural benchmarks (by up to 30%), while performance on general natural language understanding (NLU) benchmarks remains largely unaffected. Moreover, we show that culture-specific neurons support knowledge of not only the target culture, but also related cultures. Finally, we demonstrate that training on NLU benchmarks can diminish models' cultural understanding when we update modules containing many culture-general neurons. These findings provide insights into the internal mechanisms of LLMs and offer practical guidance for model training and engineering. Our code is available at https://github.com/ynklab/CULNIG
• Abstract（参考訳）: 大規模言語モデル(LLM)は世界中に展開されているため、公平で包括的な文化的理解が重要である。 しかし、LLMは文化的偏見と、表現されていない文化に対する認識が限定的である一方で、その文化的理解の基盤となるメカニズムは未解明のままである。 このギャップを埋めるために、我々は、文化的な振る舞いを駆動するニューロンを特定するためにニューロンレベルの分析を行い、精密な精細化のためのフィルターを付加した勾配に基づくスコアリング手法を導入した。 我々は,文化によらず文化理解に寄与する文化一般ニューロンと,個々の文化に結びついている文化特異的ニューロンの両方を同定する。 これらのニューロンは全ニューロンの1%未満を占めており、浅層から中層へと集中している。 本研究は,NLU(General Natural Language Understanding, 一般自然言語理解)ベンチマークの性能は影響を受けていないものの, 文化的ベンチマークにおける性能の低下(最大30%)を抑えることを示し, それらの役割を検証した。 さらに, 培養特異的ニューロンは, 標的培養のみならず, 関連培養の知識も支えていることを示す。 最後に,多くの培養一般ニューロンを含むモジュールを更新する場合,NLUベンチマークのトレーニングにより,モデルの文化的理解が低下することが実証された。 これらの知見はLLMの内部メカニズムの洞察を与え、モデルトレーニングと工学の実践的なガイダンスを提供する。 私たちのコードはhttps://github.com/ynklab/CULNIGで利用可能です。

関連論文リスト

• CultureScope: A Dimensional Lens for Probing Cultural Understanding in LLMs [57.653830744706305]
  CultureScopeは、大規模な言語モデルにおける文化的理解を評価するための、これまでで最も包括的な評価フレームワークである。 文化的な氷山理論に触発されて、文化知識分類のための新しい次元スキーマを設計する。 実験結果から,文化的理解を効果的に評価できることが示唆された。
  論文  参考訳（メタデータ） (2025-09-19T17:47:48Z)
• Entangled in Representations: Mechanistic Investigation of Cultural Biases in Large Language Models [42.367959511140036]
  本稿では,大規模言語モデルの内部表現を探索する最初の解釈可能性に基づく手法であるCulturescopeを提案する。 本研究は,本質的な文化的偏見の尺度として,文化的平坦化スコアを導入する。 実験の結果,LLMは文化知識空間における西洋支配バイアスと文化的フラット化をエンコードしていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-08-12T12:05:32Z)
• Navigating the Cultural Kaleidoscope: A Hitchhiker's Guide to Sensitivity in Large Language Models [4.771099208181585]
  LLMはますますグローバルなアプリケーションにデプロイされ、さまざまなバックグラウンドを持つユーザが尊敬され、理解されることが保証される。 文化的な害は、これらのモデルが特定の文化的規範と一致しないときに起こり、文化的な価値観の誤った表現や違反をもたらす。 潜在的な文化的不感を露呈するシナリオを通じて、異なる文化的文脈におけるモデルアウトプットを評価するために作成された文化的調和テストデータセットと、多様なアノテータからのフィードバックに基づいた微調整による文化的感受性の回復を目的とした、文化的に整合した選好データセットである。
  論文  参考訳（メタデータ） (2024-10-15T18:13:10Z)
• CULTURE-GEN: Revealing Global Cultural Perception in Language Models through Natural Language Prompting [73.94059188347582]
  110か国・地域での3つのSOTAモデルの文化認識を,文化条件付き世代を通して8つの文化関連トピックについて明らかにした。 文化条件付き世代は、デフォルトの文化と区別される余分な文化を区別する言語的な「マーカー」から成り立っていることが判明した。
  論文  参考訳（メタデータ） (2024-04-16T00:50:43Z)
• Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in Large Language Models [89.94270049334479]
  本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。 LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
  論文  参考訳（メタデータ） (2023-10-19T05:38:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。