論文の概要: Evaluating Contrast Localizer for Identifying Causal Unitsin Social & Mathematical Tasks in Language Models

• arxiv url: http://arxiv.org/abs/2508.08276v1
• Date: Thu, 31 Jul 2025 10:49:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-17 22:58:06.159637
• Title: Evaluating Contrast Localizer for Identifying Causal Unitsin Social & Mathematical Tasks in Language Models
• Title（参考訳）: 言語モデルにおける社会的・数学的タスクにおける因果単位の同定のためのコントラストローカライザの評価
• Authors: Yassine Jamaa, Badr AlKhamissi, Satrajit Ghosh, Martin Schrimpf,
• Abstract要約: この研究は、神経科学的コントラストローカライザを用いて、大きな言語モデル(LLM)と視覚言語モデル(VLM)における、心の理論(ToM)と数学的推論タスクの因果関係ユニットをピンポイントする。 コントラスト刺激セットを用いてトップアクティベート単位の局所化を行い,その因果的役割を目標アブレーションにより評価した。 ToMおよび数式ベンチマークを用いて, 機能的選択単位が低活性, ランダム選択単位が下流の精度に及ぼす影響を比較検討した。
• 参考スコア（独自算出の注目度）: 3.9575915384361036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work adapts a neuroscientific contrast localizer to pinpoint causally relevant units for Theory of Mind (ToM) and mathematical reasoning tasks in large language models (LLMs) and vision-language models (VLMs). Across 11 LLMs and 5 VLMs ranging in size from 3B to 90B parameters, we localize top-activated units using contrastive stimulus sets and assess their causal role via targeted ablations. We compare the effect of lesioning functionally selected units against low-activation and randomly selected units on downstream accuracy across established ToM and mathematical benchmarks. Contrary to expectations, low-activation units sometimes produced larger performance drops than the highly activated ones, and units derived from the mathematical localizer often impaired ToM performance more than those from the ToM localizer. These findings call into question the causal relevance of contrast-based localizers and highlight the need for broader stimulus sets and more accurately capture task-specific units.
• Abstract（参考訳）: この研究は、神経科学的なコントラストローカライザを用いて、大きな言語モデル(LLM)と視覚言語モデル(VLM)における、心の理論(ToM)と数学的推論タスクの因果関係ユニットをピンポイントする。 11個のLDMと5個のVLMを3Bから90Bのパラメータに分けて,コントラスト刺激セットを用いてトップアクティベート単位を局在させ,それらの因果的役割を目標アブレーションにより評価した。 ToMおよび数式ベンチマークを用いて, 機能的選択単位が低活性, ランダム選択単位が下流の精度に及ぼす影響を比較検討した。 期待に反して、低活性化ユニットは高活性化ユニットよりも大きな性能低下を生じさせ、数学的ローカライザから派生したユニットはToMローカライザよりもToMのパフォーマンスを損なうことが多かった。 これらの結果は、コントラストベースのローカライザの因果関係に疑問を投げかけ、より広範な刺激セットの必要性を強調し、タスク固有のユニットをより正確に捉えている。

関連論文リスト

• How Is LLM Reasoning Distracted by Irrelevant Context? An Analysis Using a Controlled Benchmark [29.13320560500717]
  分散文脈をもつ小学校数学は、体系的に制御された文脈 (IC) に対するLarge Language Models (LLM) 推論を評価するためのベンチマークである。 実験の結果,LLMはICに非常に敏感であり,推理経路の選択と算術精度の両方に影響を及ぼすことがわかった。 本稿では,プロセス報酬モデルを用いて,配当条件下でのロバスト性を高めるステップワイズツリー探索を提案する。
  論文  参考訳（メタデータ） (2025-05-24T15:56:22Z)
• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• Sensitivity Meets Sparsity: The Impact of Extremely Sparse Parameter Patterns on Theory-of-Mind of Large Language Models [55.46269953415811]
  ToM感受性パラメータを同定し、これらのパラメータの0.001%の摂動がToM性能を著しく低下させることを示す。 我々の結果は、モデルアライメントの強化、バイアス軽減、ヒューマンインタラクション用に設計されたAIシステムの改善に影響を及ぼす。
  論文  参考訳（メタデータ） (2025-04-05T17:45:42Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• Mitigating Modality Prior-Induced Hallucinations in Multimodal Large Language Models via Deciphering Attention Causality [20.41579586967349]
  MLLM(Multimodal Large Language Models)は、産業と学術の両方に焦点を合わせている。 MLLMは視覚や言語に先立って導入されたバイアスに悩まされ、多モード幻覚を引き起こすことがある。 MLLMに構造因果モデリングを適用した因果推論フレームワークCausalMMを提案する。
  論文  参考訳（メタデータ） (2024-10-07T06:45:22Z)
• Large Language Models are Biased Reinforcement Learners [0.0]
  大規模言語モデル (LLM) は相対値バイアスの行動的シグネチャを示す。 計算的認知モデリングにより、LLMの挙動は単純なRLアルゴリズムによってよく記述されていることが明らかになった。
  論文  参考訳（メタデータ） (2024-05-19T01:43:52Z)
• Mitigating Biases of Large Language Models in Stance Detection with Counterfactual Augmented Calibration [43.02857908228108]
  大規模言語モデル (LLM) は、スタンス検出を含む様々な自然言語処理タスクにおいて顕著な進歩を示している。 姿勢検出におけるそれらの性能は、データ駆動性に起因するバイアスと刺激的な相関によって制限される。 本稿では,LCMの姿勢予測における潜在的なバイアスをキャリブレーションする新たなキャリブレーションネットワークであるFACTUALを提案する。
  論文  参考訳（メタデータ） (2024-02-22T05:17:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。