論文の概要: Evaluating the Causal Faithfulness of SHAP as a Candidate Attribution Method for SAE Features

• arxiv url: http://arxiv.org/abs/2610.17898v1
• Date: Tue, 13 Oct 2026 07:54:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.550488
• Title: Evaluating the Causal Faithfulness of SHAP as a Candidate Attribution Method for SAE Features
• Title（参考訳）: SAE特徴量に対する候補帰属法としてのSHAPの因果信頼度の評価
• Abstract要約: SHAPをベースとした属性をSAE潜伏特性に適用し,直接因果介入に対して評価する。 互いに強く一致する帰属法は、測定された因果効果とよく一致しない。 我々は、重要性と方向性の忠実性は別個の評価を必要とする分離性であると主張している。
• 参考スコア（独自算出の注目度）: 3.887688898850802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders decompose language model representations into interpretable features, but feature interpretation in this literature remains predominantly correlational. Attribution methods offer more direct estimates of feature influence, yet their faithfulness to actual causal effects has not been systematically evaluated in the SAE setting. We apply SHAP-based attribution to SAE latent features and evaluate it against direct causal intervention, using sentiment classification on SST-2 with GPT-2 Small and a 32,768-feature layer-7 SAE as a testbed. We compare SHAP to Integrated Gradients, Gradient$\times$Input, and probe-weight baselines across linear and MLP probe arms, scoring each against feature ablation and activation steering measured through the language model's own logit difference. Most faithfulness associations we measure do not survive multiple-comparison correction, and attribution methods that agree strongly with one another ($ρ= 0.42$--$0.80$) agree poorly with measured causal effects, indicating that inter-method agreement is not evidence of causal faithfulness. Two effects hold under control. First, local per-example attribution retains a directional advantage over global averaged attribution, while its apparent importance advantage is explained by feature activity rather than superior causal ranking. Second, under known-ground-truth minimal pairs, attribution recovers inserted sentiment signal well above chance (AUROC $0.792$) but fails to localize deletions (AUROC $0.520$), suggesting that these methods detect the presence of a feature's influence more reliably than its absence. We argue that importance faithfulness and directional faithfulness are separable properties requiring separate evaluation, and that attribution agreement should not substitute for causal validation.
• Abstract（参考訳）: スパースオートエンコーダは言語モデル表現を解釈可能な特徴に分解するが、この文献の特徴解釈は主に相関関係にある。 属性法は、より直接的な特徴の影響推定を提供するが、実際の因果効果への忠実性は、SAE設定において体系的に評価されていない。 GPT-2 Smallと32,768-feature layer-7 SAEをテストベッドとしてSST-2の感情分類を用いて,SAE潜伏特性にSHAPによる属性を応用し,直接因果介入に対して評価した。 SHAPと統合グラディエント、グラディエント$\times$Input、線形およびMLPプローブアーム間のプローブウェイトベースラインを比較し、言語モデル独自のロジット差によって測定された特徴アブレーションとアクティベーションステアリングに対してスコアを付ける。 我々の測定する忠実度協会は、多重比較補正を生き残らないが、互いに強く一致する帰属法(ρ= 0.42$--$0.80$)は、測定された因果効果と不一致であり、金属間合意が因果的忠実性の証拠ではないことを示している。 2つの効果が制御される。 第一に、地域ごとの帰属は、グローバルな平均的帰属よりも方向性的な優位性を維持し、その明らかな優位性は、因果的ランキングよりも特徴的行動によって説明される。 第二に、既知の地味な最小対の下では、帰属は挿入された感情シグナルをはるかに上回る確率 (AUROC $0.792$) で回収するが、削除の局所化に失敗する(AUROC $0.520$)。 我々は、重要性の忠実さと方向性の忠実さは別個の評価を必要とする分離性であり、帰属合意は因果検証に代えてはならないと論じている。

関連論文リスト

• What Do Sparse Autoencoder Feature Discovery Scores Identify? From Activations to Interventions [9.545620331121663]
  我々は、モデル出力に対する特定の介入の1次効果である介入帰属を推定する。 幅広い応答関数に対して、観察的特徴発見の証拠は一般にこの属性を特定せず、線形プローブ予測と介入帰属の間のギャップの正確な勾配に基づく分解を導出することを示す。
  論文  参考訳（メタデータ） (2026-10-11T19:07:45Z)
• Semantic Drift in Bug Resolution: How Behavioral Signals Propagate from Reports to Tests and Patches [18.727291516223115]
  Desc2Fixは、バグレポートのセマンティックアライメント、テストのトリガー、開発者による修正を測定するフレームワークである。 GPT-4o と DeepSeek-Chat を用いて,Defects4J と SWT-Bench の2,857 個のレポート・パッチを解析した。
  論文  参考訳（メタデータ） (2026-07-20T22:32:23Z)
• Resist and Update: Counterfactual Report Coordinates for Incentive-Compatible LLMs [4.721990925113432]
  修飾言語モデルは、非証拠的な圧力下で定期的に誤レポートされる。 我々は2つの要求を調査し、抵抗(不当な圧力)と更新(認可された証拠をフォロー)する。 低ランクレポートのコーディネートを慎重にローカライズして,回答,信頼,注意を喚起する。
  論文  参考訳（メタデータ） (2026-07-14T17:28:25Z)
• Certified Interventional Fidelity: Anytime-Valid, Adaptive Evaluation of Causal Claims in Mechanistic Interpretability [0.0]
  Certified Interventional Fidelity (CIF)は、介入解釈可能性評価のための統計層である。 CIFは、高忠実性クレームを認定し、明らかな方法の違いが統計的にサポートされていないことを示し、介入分布に対する感度を明示する。
  論文  参考訳（メタデータ） (2026-07-09T10:55:04Z)
• FACTOR: Counterfactual Training-Free Test-Time Adaptation for Open-Vocabulary Object Detection [63.91351553178842]
  FACTORはオープン語彙オブジェクト検出のためのトレーニング不要なテスト時間適応である。 属性依存性の予測を選択的に抑制するために、属性の感度、意味的関連性、予測のバリエーションを定量化する。 PASCAL-C, COCO-C, FoggyCityscapes の実験では、FACTOR が従来の TTA 法より一貫して優れていたことが示されている。
  論文  参考訳（メタデータ） (2026-05-05T02:31:18Z)
• Test-Time Adaptation by Causal Trimming [25.388362454409833]
  テストタイム適応は、分散シフトの下でモデルの堅牢性を改善することを目的としている。 因果トリミング(TACT)によるテスト時間適応の導入 TACTは、因果的特徴を保存し、非因果的特徴を変動させるデータ拡張を適用している。 それは一貫して最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2025-10-13T08:22:38Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• Be Your Own Neighborhood: Detecting Adversarial Example by the Neighborhood Relations Built on Self-Supervised Learning [64.78972193105443]
  本稿では,予測に有効な新しいAE検出フレームワークを提案する。 AEの異常な関係と拡張バージョンを区別して検出を行う。 表現を抽出し、ラベルを予測するために、既製の自己監視学習(SSL)モデルが使用される。
  論文  参考訳（メタデータ） (2022-08-31T08:18:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。