論文の概要: When Do Attention-Head Ablations Support Causal Claims? Projection-Level Confounds, Floor Effects, and Matched Controls

• arxiv url: http://arxiv.org/abs/2610.00373v1
• Date: Wed, 30 Sep 2026 07:28:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.625538
• Title: When Do Attention-Head Ablations Support Causal Claims? Projection-Level Confounds, Floor Effects, and Matched Controls
• Title（参考訳）: アテンション・ヘッド・アブレーションは因果クレームをサポートするか? : プロジェクション・レベル・コンファウンド, 床効果, 整合制御
• Abstract要約: 注意頭アブレーション(英: Attention-head ablation, zeroing a head and measured the result change task performance)は、言語モデルのどのコンポーネントが行動に因果的に責任を持つかを推測する一般的な方法である。 介入セマンティクス,評価基準,制御が慎重に検証されない限り,この推論は脆弱であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention-head ablation, zeroing a head and measuring the resulting change in task performance, is a common method for inferring which components of a language model are causally responsible for a behavior. We show using GPT-2 small that this inference can be fragile unless the intervention semantics, evaluation metric, and controls are carefully validated. A natural post-projection implementation of "zeroing a head" is nearly uncorrelated with a corrected pre-projection ablation (Pearson r = 0.057) and selects a completely disjoint top-5 set of important heads. We also show that binary accuracy can hide effects at behavioral floors and near ceilings, whereas gold-token log-probability remains graded. Using a discovery/held-out split and 1,000 matched random-head and layer-matched-head control draws, the corrected per-head effect ranking is highly stable across splits (Spearman rho = 0.974), and the top-5 selected heads significantly exceed both control distributions (Monte Carlo p = 0.001). However, evidence for task specificity is not robust on GPT-2. Replication on DistilGPT2 preserves the intervention-semantic and matched-control findings. These results show that single-head ablation does not by itself justify a causal claim; defensible interpretation requires correct intervention placement, a non-saturated continuous metric, and matched held-out controls.
• Abstract（参考訳）: 注意頭アブレーション(英: Attention-head ablation, zeroing a head and measured the result change in task performance)は、言語モデルのどのコンポーネントが行動に因果的に責任を持つかを推定する一般的な方法である。 介入セマンティクス,評価基準,制御が慎重に検証されない限り,この推論は脆弱であることを示す。 頭部をゼロにする」という自然な射影後の実装は、修正された前投射アブレーション(ピアソン r = 0.057)とほとんど無関係であり、完全に非結合な重要なヘッドのトップ5集合を選択する。 また,2値の精度は行動床や天井付近で効果を隠蔽しうることを示した。 スピアマンrho = 0.974)、トップ5選択ヘッドは両制御分布を大きく上回る(モンテカルロp = 0.001)。 しかしながら、タスク特異性の証拠は GPT-2 では堅牢ではない。 DistilGPT2の複製は、インターベンション・セマンティックおよびマッチング・コントロールの発見を保存している。 これらの結果から,単頭アブレーション自体が因果関係を正当化するものではないことが示唆された。

関連論文リスト

• Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement [74.92755267784983]
  強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。 本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。 VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
  論文  参考訳（メタデータ） (2026-09-21T08:08:56Z)
• The Intervention Gap in Latent World Models [0.0]
  計画時介入の忠実さは、学習された世界モデルの際立った、測定可能な特性である。 リリースされたTD-MPC2チェックポイントサイズ全体で、タスクオブザーバのオペレータエラー診断が増加するにつれて、エピソードリターンが減少する。 タスク信号無しで訓練された自己教師付き世界モデルは、共有タスク上のタスク選択モデルよりもかなり優れた演算子を保存する。
  論文  参考訳（メタデータ） (2026-08-30T19:47:51Z)
• Faithfulness to Refusal: A Causal Audit of Neuron Selectors [3.3598755777055374]
  属性スコアは、プルーニング、解釈可能性、安全のための編集など、言語モデルのどのニューロン行が重要かを、ますます特定する。 1ショットのニューロンローゼロリングをベースとした2つのペア監査でこの問題に対処する。
  論文  参考訳（メタデータ） (2026-07-06T17:33:36Z)
• From Observation to Intervention: A Causal Audit of Expert Importance in Mixture-of-Experts Models [0.2230291569252836]
  本研究では,Mixture-of-Experts (MoE) プルーニングにおけるルーティング統計の利用について検討する。 あらゆるモデルにおいて因果的専門家の重要性を予測する観察的指標は見つからない。 以上の結果から, 人口レベルの観察結果から, 専門家の重要度に関するトークンレベルの介入主張まで, 共通の推論段階に対する明確な反例が得られた。
  論文  参考訳（メタデータ） (2026-06-09T11:04:19Z)
• Tailoring Strictly Proper Scoring Rules for Downstream Tasks: An Application to Causal Inference [48.78219918881965]
  本稿では,ダウンストリーム誤差メトリックの局所曲率をマッチングすることにより,タスク固有の厳密なスコアリングルールを導出するフレームワークを提案する。 これを平均処理効果 (ATE) 推定に適用し, 閉形式損失と対応する正準確率写像を導出する。
  論文  参考訳（メタデータ） (2026-06-02T08:41:25Z)
• Beyond Behavioural Trade-Offs: Mechanistic Tracing of Pain-Pleasure Decisions in an LLM [0.0]
  以前の研究は、一部のLCMは、選択肢が痛みや快楽を引き起こすものとしてフレーム化されているときに選択を変更でき、そのような偏差は、記述された強度でスケール可能であることを示唆している。 本研究では, 変圧器内における原子価関連情報がどのように表現され, どこで因果的に使用されるかを検討する。 Gemma-2-9B-itと、前処理をモデルとした最小限の決定タスクを用いて、(i)ストリームを横断する層ワイドな線形プローブを用いて、表現の可用性をマップする。 我々は,活性化介入(ステアリング,パッチ,アブレーション)による因果的寄与を検証し,(iii)エプシロングリッド上での線量応答効果を定量化する。
  論文  参考訳（メタデータ） (2026-02-22T12:42:38Z)
• Semi-Supervised Unconstrained Head Pose Estimation in the Wild [57.11798881492183]
  本研究では,最初の半教師なしヘッドポーズ推定手法であるSemiUHPEを提案する。 本手法は, 前回のランドマークに基づくアフィンアライメントよりも, 野生の頭部のアスペクト比不変収穫が優れているという観測に基づいている。 提案手法は, 汎用物体回転回帰法や3次元頭部再構成法など, その他の密接に関連する問題を解く上でも有用である。
  論文  参考訳（メタデータ） (2024-04-03T08:01:00Z)
• Nonparametric Identifiability of Causal Representations from Unknown Interventions [63.1354734978244]
  本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。 我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
  論文  参考訳（メタデータ） (2023-06-01T10:51:58Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。