論文の概要: Finding the Heads and the Neurons Responsible for Network Information Retrieval in Language Models

• arxiv url: http://arxiv.org/abs/2610.08200v1
• Date: Tue, 06 Oct 2026 11:51:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.966918
• Title: Finding the Heads and the Neurons Responsible for Network Information Retrieval in Language Models
• Title（参考訳）: 言語モデルにおけるネットワーク情報検索に責任のある頭部とニューロンの探索
• Abstract要約: 特定のネットワーク情報エンティティに対する因果的ヘッドフィニングは、モデルとアーキテクチャにわたって機能する。 頭責任は、相関のみによってではなく、因果的に検証することができる。
• 参考スコア（独自算出の注目度）: 3.920775551408145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We ask whether specific attention heads, and more finely specific neurons inside those heads, are responsible for recognizing that a language model's context contains network infrastructure information (a hostname paired with its IP address), and whether that responsibility can be validated causally rather than by correlation alone. At the head level the answer is yes, across five models spanning three architecture families: in every model, a small set of heads (1 to 9 out of 128 to 1152 candidates), found by causal ablation screening and tested for selectivity against matched negative and context-free controls, supports a detector with 99.5--100\% held-out accuracy. We then ask whether a head's responsibility concentrates into one neuron or stays spread across its dimensions; this is model-specific. In one model, the top head's signal concentrates into a single neuron, found independently by both a causal intervention and a correlational ranking, which agree exactly (AUC = 1.000, matching the full head). In another, the single clean head works as a whole (AUC = 1.000) but the best causally ranked neuron inside it does not (AUC = 0.665), so the responsibility there is spread across the head. The remaining three models fall in between. On an independent dataset collected by a different institution (reverse-DNS records rather than the discovery data), every model's full-head detector flags 100\% of positive records; the single-neuron versions transfer less reliably, and in one model score below chance. Causal head-finding for a specific network-information entity works across models and architectures; how far that finding can be pushed down to individual neurons varies, and needs to be checked for each model.
• Abstract（参考訳）: 言語モデルのコンテキストにはネットワークインフラストラクチャ情報(IPアドレスと組み合わせたホスト名)が含まれており、その責任は相関のみによるものではなく、慎重に検証できるかどうかを問う。 頭部レベルでは、答えはイエスであり、3つのアーキテクチャーファミリにまたがる5つのモデルである: 全てのモデルにおいて、因果的アブレーションスクリーニングによって発見され、マッチした負の制御と無文脈の制御に対する選択性のテストにより、99.5-100\%の精度で検出をサポートする。 次に、頭部の責任が1つのニューロンに集中するか、その次元に分散するかを問う。 あるモデルでは、トップヘッドの信号は単一のニューロンに集中し、因果介入と相関ランクの両方によって独立に検出され、正確に一致する(AUC = 1.000、フルヘッドと一致する)。 別の例では、単一のクリーンヘッドは全体として機能する(AUC = 1.000)が、最も因果的にランク付けされたニューロンは機能しない(AUC = 0.665)。 残りの3つのモデルが中間にある。 異なる機関によって収集された独立したデータセット(発見データではなく逆DNSレコード)では、すべてのモデルのフルヘッド検出器フラグが100\%の正のレコードを出力する。 特定のネットワーク情報エンティティに対する因果的ヘッドフィニングは、モデルとアーキテクチャにわたって機能する。

関連論文リスト

• Hallucination Neurons and Where to Find Them: An Investigation into the existence of Hallucination Neurons [0.0]
  本稿では,特徴相関,ブートストラップ安定性,スパース対密ランキングの不一致,介入ベースライン,データセット間評価を含む5段階の診断プロトコルを提案する。 この結果から, モデルとデータセットの双方で検出された複製が, 元のAUROCギャップを越えていることがわかった。 本研究は, 異常な予測構造が非特異性ニューロン選択と共存できることを示唆する。
  論文  参考訳（メタデータ） (2026-09-24T13:23:00Z)
• Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads [19.588124754970142]
  我々は,OV回路出力の投射によって各頭部を解答不能な方向に向けてスコアする書き込み認識検出器であるLogit-Contribution Scoring(LOCOS)を紹介する。 NoLiMaノンリテラル検索ベンチマークの上位LOCOSヘッドを平均で比較すると、3つのモデルファミリーでROUGE-Lは従来の注意に基づく検出よりも低いカウントで崩壊する。
  論文  参考訳（メタデータ） (2026-07-01T14:41:07Z)
• Flash Interpretability: Decoding Specialised Feature Neurons in Large Language Models with the LM-Head [0.0]
  本研究では,大きな言語モデルの最終射影層を通じて,ニューロンの重みを直接トークン確率に復号することが可能であることを示す。 これはLlama 3.1 8Bで説明され、LMヘッドを用いて「犬」ニューロンや「カリフォルニア」ニューロンのような特化された特徴ニューロンの例を見つける。
  論文  参考訳（メタデータ） (2025-01-05T23:35:47Z)
• Brain Tumor Classification on MRI in Light of Molecular Markers [56.99710477905796]
  1p/19q遺伝子の同時欠失は、低グレードグリオーマの臨床成績と関連している。 本研究の目的は,MRIを用いた畳み込みニューラルネットワークを脳がん検出に活用することである。
  論文  参考訳（メタデータ） (2024-09-29T07:04:26Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。