論文の概要: Finding Culture-Sensitive Neurons in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2510.24942v1
• Date: Tue, 28 Oct 2025 20:14:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:44.781755
• Title: Finding Culture-Sensitive Neurons in Vision-Language Models
• Title（参考訳）: 視覚・言語モデルにおける培養感覚ニューロンの発見
• Authors: Xiutian Zhao, Rochelle Choenni, Rohit Saxena, Ivan Titov,
• Abstract要約: 視覚言語モデル(VLM)における培養感受性ニューロンの存在について検討する。 我々は,培養選択性のニューロンを同定し,異なる同定法でフラグ付けされたニューロンを不活性化することにより因果検査を行う。 われわれはマルチモーダル表現の内部構造に新たな光を当てた。
• 参考スコア（独自算出の注目度）: 20.13200214439683
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite their impressive performance, vision-language models (VLMs) still struggle on culturally situated inputs. To understand how VLMs process culturally grounded information, we study the presence of culture-sensitive neurons, i.e. neurons whose activations show preferential sensitivity to inputs associated with particular cultural contexts. We examine whether such neurons are important for culturally diverse visual question answering and where they are located. Using the CVQA benchmark, we identify neurons of culture selectivity and perform causal tests by deactivating the neurons flagged by different identification methods. Experiments on three VLMs across 25 cultural groups demonstrate the existence of neurons whose ablation disproportionately harms performance on questions about the corresponding cultures, while having minimal effects on others. Moreover, we propose a new margin-based selector - Contrastive Activation Selection (CAS), and show that it outperforms existing probability- and entropy-based methods in identifying culture-sensitive neurons. Finally, our layer-wise analyses reveals that such neurons tend to cluster in certain decoder layers. Overall, our findings shed new light on the internal organization of multimodal representations.
• Abstract（参考訳）: 印象的な性能にもかかわらず、視覚言語モデル(VLM)は文化的に位置する入力に苦戦している。 VLMが文化的基盤情報をどのように処理するかを理解するために、我々は、文化感受性ニューロンの存在、すなわち、特定の文化的文脈に関連する入力に対して、活性化が優先的な感受性を示すニューロンについて研究する。 このようなニューロンが文化的に多様な視覚的質問応答に重要であるかどうか,その位置について検討する。 CVQAベンチマークを用いて,培養選択性のニューロンを同定し,異なる同定法でフラグ付けされたニューロンを非活性化することにより因果検査を行う。 25の文化グループにまたがる3つのVLM実験では、アブレーションが他の文化に最小限の影響を及ぼしながら、対応する文化に関する質問に対するパフォーマンスを不均等に損なうニューロンの存在が示されている。 さらに,新しいマージンベースセレクタであるContrastive Activation Selection (CAS)を提案する。 最後に、階層解析により、そのようなニューロンは特定のデコーダ層に集束する傾向にあることが明らかとなった。 総じて,本研究はマルチモーダル表現の内部構造に新たな光を当てた。

関連論文リスト

• Neuron-Level Analysis of Cultural Understanding in Large Language Models [34.65197313327234]
  大規模言語モデル(LLM)は、その公正で包括的な文化的理解を確実にするために、世界中で展開されている。 我々は、文化行動を促進するニューロンを特定するために、ニューロンレベルの分析を行う。 我々は,文化によらず文化理解に寄与する文化一般ニューロンと,個々の文化に結びついている文化特異的ニューロンの両方を同定する。
  論文  参考訳（メタデータ） (2025-10-09T14:35:00Z)
• Isolating Culture Neurons in Multilingual Large Language Models [4.14360329494344]
  言語特異的ニューロンを同定し、それを培養特異的ニューロンの局在化と分離に拡張する。 実験を容易にするために、6つの文化にまたがる8520万のトークンからなるキュレートデータセットであるMURELを紹介した。 我々の局所化と介入実験は、LLMが神経集団の異なる文化をコードしていることを示している。
  論文  参考訳（メタデータ） (2025-08-04T09:41:10Z)
• NOBLE -- Neural Operator with Biologically-informed Latent Embeddings to Capture Experimental Variability in Biological Neuron Models [63.592664795493725]
  NOBLEは、解釈可能なニューロンの特徴を連続周波数変調した埋め込みから電流注入によって誘導されるソマティック電圧応答へのマッピングを学ぶ神経オペレーターフレームワークである。 内在的な実験変数を考慮したニューラルダイナミクスの分布を予測する。 NOBLEは、その一般化を実際の実験データで検証する最初の大規模ディープラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-06-05T01:01:18Z)
• Deciphering Functions of Neurons in Vision-Language Models [38.978287253624565]
  本研究の目的は、視覚言語モデル(VLM)の内部を探索し、個々のニューロンの機能を理解することである。 入力された視覚トークンやテキストトークンに関してニューロンの活性化を観察し、いくつかの興味深い知見を明らかにした。 我々は、GPT-4oのアシスタントを用いて、ニューロンの説明を自動化するフレームワークを構築した。 視覚ニューロンに対しては,視覚ニューロンに対する説明の信頼性を評価するためのアクティベーションシミュレータを提案する。
  論文  参考訳（メタデータ） (2025-02-10T10:00:06Z)
• Neuron Empirical Gradient: Discovering and Quantifying Neurons Global Linear Controllability [14.693407823048478]
  ニューロン実験勾配(NEG)は,活性化の変化が予測にどのように影響するかを捉える。 また, NEGは, スキルニューロン探索により, 多様なプロンプトにまたがる言語スキルを効果的に捉えていることを示す。 さらに分析は、効率性、堅牢性、柔軟性、相互依存といった、NEGベースのスキル表現の重要な特性を強調している。
  論文  参考訳（メタデータ） (2024-12-24T00:01:24Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [85.0284555835015]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。 多言語環境でのLLMの内部動作を探究する研究はほとんどない。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。