論文の概要: What Do Sparse Autoencoder Feature Discovery Scores Identify? From Activations to Interventions

• arxiv url: http://arxiv.org/abs/2610.15850v1
• Date: Sun, 11 Oct 2026 19:07:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 15:37:04.731481
• Title: What Do Sparse Autoencoder Feature Discovery Scores Identify? From Activations to Interventions
• Title（参考訳）: スパースオートエンコーダの特徴発見は何か? アクティベーションからインターベンションまで
• Abstract要約: 我々は、モデル出力に対する特定の介入の1次効果である介入帰属を推定する。 幅広い応答関数に対して、観察的特徴発見の証拠は一般にこの属性を特定せず、線形プローブ予測と介入帰属の間のギャップの正確な勾配に基づく分解を導出することを示す。
• 参考スコア（独自算出の注目度）: 9.545620331121663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoder (SAE) features are typically discovered from how their activations co-vary with behaviour, yet they are often used through interventions such as steering or ablation. We take intervention attribution, the first-order effect of a specified intervention on the model output, as our estimand. For a broad class of response functions, we show that observational feature-discovery evidence generally does not identify this attribution, and derive an exact gradient-based decomposition of the gap between linear-probe predictions and intervention attribution. Across four model-SAE pairs, median probe-to-attribution magnitude ratios range from tens to hundreds, while attributions closely track small-step steering. For single-latent ablations with nonzero effects, gradient predictions match the realized sign in 91-97% of cases, compared with 17-35% for probe-implied changes. Attribution-selected sets also produce larger absolute mean ablation effects on held-out prompts than sets selected by correlation, rank tests or probe coefficients. Together, these results establish intervention attribution as a principled, gradient-estimable target for selecting SAE features for intervention.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)の特徴は、通常、それらのアクティベーションが行動とどのように共存するかから発見されるが、ステアリングやアブレーションなどの介入によってしばしば使用される。 我々は、モデル出力に対する特定の介入の1次効果である介入帰属を推定する。 幅広い応答関数に対して、観察的特徴発見の証拠は一般にこの属性を特定せず、線形プローブ予測と介入帰属の間のギャップの正確な勾配に基づく分解を導出することを示す。 4つのモデルSAEペアのうち、中央のプローブ・ツー・アトリビューションの比率は、数十から数百の範囲で、属性は小さなステップのステアリングを密に追跡する。 非ゼロ効果を持つ単一遅延アブレーションの場合、勾配予測は91～97%のケースで実現された符号と一致し、プローブにより実装された変化は17～35%であった。 属性選択された集合はまた、相関、ランクテスト、プローブ係数によって選択された集合よりも、ホールトアウトプロンプトに対する絶対平均アブレーション効果が大きい。 これらの結果は、介入のためのSAE特徴を選択するための原則的、勾配推定可能な目標として、介入帰属を確立した。

関連論文リスト

• Evaluating the Causal Faithfulness of SHAP as a Candidate Attribution Method for SAE Features [3.887688898850802]
  SHAPをベースとした属性をSAE潜伏特性に適用し,直接因果介入に対して評価する。 互いに強く一致する帰属法は、測定された因果効果とよく一致しない。 我々は、重要性と方向性の忠実性は別個の評価を必要とする分離性であると主張している。
  論文  参考訳（メタデータ） (2026-10-13T07:54:39Z)
• Decodability is Not Causality: Dissociating Probe Readouts from Behavioral Drivers via SAE Decomposition [3.5923748886318183]
  線形プローブは、言語モデルのアクティベーションから真理性などの安全関連概念をデコードすることができる。 しかし、プローブの精度は、プローブの重み付けがモデル動作を因果的に駆動する特徴ではなく、陰極性のみを示す可能性がある。 本稿では,True/Falseプローブをスパースオートエンコーダ(SAE)機能に分解する機能レベルの診断手法を提案する。
  論文  参考訳（メタデータ） (2026-09-16T03:35:38Z)
• Deconfounding Scores and Representation Learning for Causal Effect Estimation with Weak Overlap [75.41420283374737]
  オーバーラップは因果治療効果推定の鍵となる条件である。 本稿では,デコンウンディングスコア(deconfounding scores)と呼ばれる特徴表現のクラスを提案する。 このクラスでは, 予後スコアが重なり合うことを示す。
  論文  参考訳（メタデータ） (2026-04-01T12:19:42Z)
• Beyond Behavioural Trade-Offs: Mechanistic Tracing of Pain-Pleasure Decisions in an LLM [0.0]
  以前の研究は、一部のLCMは、選択肢が痛みや快楽を引き起こすものとしてフレーム化されているときに選択を変更でき、そのような偏差は、記述された強度でスケール可能であることを示唆している。 本研究では, 変圧器内における原子価関連情報がどのように表現され, どこで因果的に使用されるかを検討する。 Gemma-2-9B-itと、前処理をモデルとした最小限の決定タスクを用いて、(i)ストリームを横断する層ワイドな線形プローブを用いて、表現の可用性をマップする。 我々は,活性化介入(ステアリング,パッチ,アブレーション)による因果的寄与を検証し,(iii)エプシロングリッド上での線量応答効果を定量化する。
  論文  参考訳（メタデータ） (2026-02-22T12:42:38Z)
• Automated Detection of Visual Attribute Reliance with a Self-Reflective Agent [58.90049897180927]
  視覚モデルにおける視覚的特徴の意図しない依存を検出するための自動フレームワークを提案する。 自己反射エージェントは、モデルが依存する可能性のある視覚特性に関する仮説を生成し、テストする。 我々は,視覚特性の多様さを示すために設計された130モデルの新しいベンチマークに対して,我々のアプローチを評価した。
  論文  参考訳（メタデータ） (2025-10-24T17:59:02Z)
• Be Your Own Neighborhood: Detecting Adversarial Example by the Neighborhood Relations Built on Self-Supervised Learning [64.78972193105443]
  本稿では,予測に有効な新しいAE検出フレームワークを提案する。 AEの異常な関係と拡張バージョンを区別して検出を行う。 表現を抽出し、ラベルを予測するために、既製の自己監視学習(SSL)モデルが使用される。
  論文  参考訳（メタデータ） (2022-08-31T08:18:44Z)
• Causal Ordering Without Effect Estimation: A Framework for Using Proxies in Treatment Prioritization [3.0509197593879844]
  予測プロキシを推論する決定中心のフレームワークを開発する。 プロキシが処理効果の優越的なモデレーターを反映した場合に保持する正しい効果順序をプロキシが回復する条件を同定する。 これらの条件が、個別選択設定において有用な近似としてどのように現れるかを示し、介入なしに行動する確率が説得を緩やかにすることを示す。
  論文  参考訳（メタデータ） (2022-06-25T02:15:22Z)
• Exploiting the Relationship Between Kendall's Rank Correlation and Cosine Similarity for Attribution Protection [21.341303776931532]
  まず、期待されるケンドールのランク相関がコサイン類似性と正に相関していることを示し、帰属方向が帰属ロバスト性の鍵であることを示す。 解析の結果,IGRは自然試料とそれに対応する摂動標本に対して,同じ活性化状態のニューロンを刺激することが明らかとなった。
  論文  参考訳（メタデータ） (2022-05-15T13:08:50Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Foreseeing the Benefits of Incidental Supervision [83.08441990812636]
  本稿では,実験を行なわずに,特定の目標タスクに対して,様々な種類の偶発信号の利点を定量化できるかどうかを考察する。 本稿では,PABI(PAC-Bayesian motivated informativeness measure)を提案する。
  論文  参考訳（メタデータ） (2020-06-09T20:59:42Z)
• Self-Attention Attribution: Interpreting Information Interactions Inside Transformer [89.21584915290319]
  本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。 本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
  論文  参考訳（メタデータ） (2020-04-23T14:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。