論文の概要: Which Attention Heads are like the Human Head? Not the Ones that Compute

• arxiv url: http://arxiv.org/abs/2609.37991v1
• Date: Tue, 29 Sep 2026 16:51:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.757507
• Title: Which Attention Heads are like the Human Head? Not the Ones that Compute
• Title（参考訳）: 人間の頭ってどんな頭? 計算する頭じゃない
• Abstract要約: 本研究は,人間の脳波とアテンションヘッド表現を比較し,その特徴がタスクパフォーマンスに与える影響を検証した。 脳に整列した頭部はパフォーマンスに寄与するが、その除去は属性パッチによって選択された頭部の除去よりも破壊的ではない。
• 参考スコア（独自算出の注目度）: 0.12314765641075437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Brain-AI alignment is often interpreted as a sign that model and brain perform similar computations. Whether the aligned units are causally involved in model computation is rarely checked. On an abstract pattern-completion task (AAABAAA $\rightarrow$ B), we compare LLM attention-head representations with human EEG and test how ablating those heads affects task performance. Alignment and causation dissociate: brain-aligned heads contribute to performance, but their removal is substantially less disruptive than removal of heads selected via attribution patching. We compare two head sets that prior interpretability work defines without reference to the brain: concept vectors (CVs), which represent abstract patterns across formats, and function vectors (FVs), selected for their contribution to correct-answer prediction. Brain alignment shows little association with FV scores, while its association with CV scores varies across models. Among brain-aligned heads, we find recurring attention profiles: one emphasizes distinctive elements (novelty heads), the other repeating elements (repetition heads). The novelty family tracks salience and attends to the same elements that humans look at, yet its removal is less damaging than random ablation on average. Repetition heads contribute modestly to performance and are associated with abstract-pattern representation (CVs). Across 17 models spanning 3B-72B parameters, FV-ranked removal is substantially more disruptive than brain-ranked removal. Brain alignment thus captures how the model reads the stimulus, and only faintly captures how it represents the pattern and solves the task.
• Abstract（参考訳）: 脳-AIアライメントはしばしばモデルと脳が同様の計算を行うサインとして解釈される。 整列ユニットがモデル計算に因果的に関与しているかどうかを確認することは滅多にない。 抽象的なパターン補完タスク(AAABAAA $\rightarrow$B)では、LLMの注意頭表現を人間の脳波と比較し、それらの頭部の非難がタスクのパフォーマンスに与える影響をテストする。 アライメントと因果関係は解離する:脳に整列した頭部はパフォーマンスに寄与するが、その除去は属性パッチングによって選択された頭部の除去よりも著しく破壊的ではない。 提案する2つのヘッドセットを,脳に言及せずに定義する。概念ベクトル (CV) と関数ベクトル (FV) は,正解法予測への寄与として選択される。 脳のアライメントはFVスコアとはほとんど関係がないが、CVスコアはモデルによって異なる。 脳に沿っている頭の中では、注意プロファイルが繰り返されている。一つは特徴的要素(ノーベルティヘッド)、もう一つは反復的要素(リピートヘッド)を強調している。 ノベルティ・ファミリーはサリエンスを追跡し、人間が見ているものと同じ要素に反応するが、その除去は平均的にランダムなアブレーションよりも損傷が少ない。 繰り返しヘッドはパフォーマンスに控えめに寄与し、抽象パターン表現(CV)と関連付けられる。 3B-72Bパラメータにまたがる17モデルにおいて、FVランク除去は脳ランク除去よりもかなり破壊的である。 脳のアライメントは、モデルがどのように刺激を読み取るかを捉え、パターンをどう表現するかをかすかに捉え、タスクを解決します。

関連論文リスト

• Brain alignment of reasoning and action representations from vision-language and action models during naturalistic gameplay [40.44107959566121]
  fMRI記録を用いた2つの基礎モデル群からの代表モデルの脳内アライメントについて検討した。 視覚言語モデル (VLM) と大動作モデル (LAM) の両方で, ボクセルエンコーディング性能が著しく向上していることが判明した。
  論文  参考訳（メタデータ） (2026-05-19T04:40:14Z)
• Temporal Dependencies in In-Context Learning: The Role of Induction Heads [4.433315630787157]
  入力シーケンス内の繰り返しトークンを即座に追従するトークンにピーク確率を割り当て、シリアルリコールのようなパターンを一貫して表示する。 本研究では,従来のトークン発生にともなうトークンに係わる特殊注意ヘッドである誘導ヘッドが,この現象において重要な役割を担っていることを示す。
  論文  参考訳（メタデータ） (2026-04-01T16:21:38Z)
• Linguistic properties and model scale in brain encoding: from small to compressed language models [39.040386424307165]
  近年の研究では、大規模言語モデル(LLM)のスケーリングは、人間の脳活動との整合性を改善することが示されている。 脳関連表現を捉えるのに必要な最小限のモデル容量は何か? モデルスケールと数値精度の制約が脳のアライメントに与える影響について検討する。
  論文  参考訳（メタデータ） (2026-02-07T13:48:45Z)
• Optimal Transport for Brain-Image Alignment: Unveiling Redundancy and Synergy in Neural Information Processing [24.10209674463849]
  既存の方法は、主に局所的なポイントワイドアライメントのみに焦点を当てたMean Squared Error (MSE) を用いて脳信号と刺激信号とをアライメントする。 本稿では,OTがMSEよりも効果的なアライメント戦略を提供する理由を理論的に示す。 我々は、画像の代わりに脳信号を大きな言語モデル(LLM)に入力することで、アライメントモデルをブレインキャプションタスクに直接適用する。
  論文  参考訳（メタデータ） (2025-03-09T06:14:23Z)
• Retrieval Head Mechanistically Explains Long-Context Factuality [56.78951509492645]
  我々は,検索ヘッドをダブする特別なタイプの注意ヘッドが,主に情報検索に責任があることを実証した。 本研究は,検索ヘッドが思考の連鎖(CoT)推論に強く影響していることを示し,モデルが質問や以前生成した文脈を頻繁に参照する必要があることを示す。 我々は、幻覚の低減、推論の改善、KVキャッシュの圧縮に関する今後の研究を促進すると信じている。
  論文  参考訳（メタデータ） (2024-04-24T00:24:03Z)
• Fine-tuned vs. Prompt-tuned Supervised Representations: Which Better Account for Brain Language Representations? [30.495681024162835]
  我々は、ニューラルデコーディングにおいて、プロンプト調整された表現と微調整された表現を比較した。 より脳に一貫性のあるチューニング手法では、脳データと相関する表現が得られます。 これは、私たちの脳が浅い構文情報よりもきめ細かい概念情報を符号化していることを示している。
  論文  参考訳（メタデータ） (2023-10-03T07:34:30Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Long-Tailed Classification by Keeping the Good and Removing the Bad Momentum Causal Effect [64.41346045698144]
  長い尾の分類は、大規模なディープラーニングの鍵である。 既存の手法は主に、基本的な理論を欠いた再重み付け/再サンプリングに基づいている。 本稿では,従来の手法の理由を解明するだけでなく,新たな原理的解を導出する因果推論の枠組みを確立する。
  論文  参考訳（メタデータ） (2020-09-28T00:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。