論文の概要: When Is an SAE Feature Interpretable? A Validation Ladder for EEG Foundation Models

• arxiv url: http://arxiv.org/abs/2609.34091v1
• Date: Mon, 28 Sep 2026 01:31:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 07:05:10.081166
• Title: When Is an SAE Feature Interpretable? A Validation Ladder for EEG Foundation Models
• Title（参考訳）: SAE機能はいつ解釈可能か?脳波基礎モデルのための検証ラダー
• Abstract要約: スパースオートエンコーダ(SAE)は、密度の高いモデルのアクティベーションを離散的なラテントに分解し、個々の特徴を解釈しやすくする。 EEGファンデーションモデルでは、これは誘惑的な推論を生み出す:アルファバンド活性の除去が潜伏者の活性化を強く変えるなら、潜伏者はアルファ活性を表すと結論付けるかもしれない。 3つのバックボーン、3つのEEGデータセット、3つのネットワーク深さにまたがる27の設定で、この解釈は最初は魅力的に思える。 しかし、アルファフィルタはシャムよりもはるかに多くの信号を削除する。
• 参考スコア（独自算出の注目度）: 4.052597852938641
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) decompose dense model activations into discrete latents, making individual features easy to interpret--and easy to misinterpret. In EEG foundation models, this creates a tempting inference: if removing alpha-band activity strongly changes a latent's activation, one might conclude that the latent represents alpha activity. Across 27 settings spanning three backbones, three EEG datasets, and three network depths, this interpretation initially appears compelling: alpha removal changes latent firing 7.3 times more than an equal-width sham notch (95% CI [6.2, 8.7], bootstrapped over settings). However, the alpha filter also deletes far more signal than the sham. After normalizing by removed spectral energy, the ratio falls to 0.28 (95% CI [0.22, 0.36]) and exceeds one in none of the 27 settings. Latents selected for their response to alpha removal are, on clean EEG, slightly anti-correlated with relative alpha power (mean r = -0.073), giving no support for a simple alpha-detector reading. Motivated by this failure case, we propose a validation ladder for semantic interpretations of SAE latents: it asks in turn whether a latent responds, whether that response survives controlling for how much signal the intervention removes, whether it is specific rather than broadly fragile, and whether the proposed property is visible on unperturbed data--while separately testing the stronger claim that the latent matters to a task classifier. Perturbation sensitivity alone does not establish what an SAE latent represents.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、密度の高いモデルのアクティベーションを離散的なラテントに分解し、個々の特徴を解釈しやすく、解釈しやすくする。 EEGファンデーションモデルでは、これは誘惑的な推論を生み出す:アルファバンド活性の除去が潜伏者の活性化を強く変えるなら、潜伏者はアルファ活性を表すと結論付けるかもしれない。 3つのバックボーン、3つのEEGデータセット、3つのネットワーク深度にまたがる27以上の設定で、この解釈は、最初は魅力的に思える: アルファ除去は、同じ幅のシャムノッチ(95% CI [6.2, 8.7]、設定よりブートストラップされた)よりも7.3倍の遅延を発生させる。 しかし、アルファフィルタはシャムよりもはるかに多くの信号を削除する。 除去されたスペクトルエネルギーによる正規化の後、比は0.28(95% CI [0.22, 0.36])となり、27設定のうち1つを超える。 アルファ除去に対する反応として選択された潜水剤は、クリーンな脳波において、相対的なアルファパワー(平均 r = -0.073)とわずかに反相関しており、単純なα-検出器の読み取りをサポートしていない。 そこで本研究では,SAE潜伏者の意味論的解釈のための検証はしごを提案する。潜伏者が応答するかどうか,その応答が介入がどの程度のシグナルを除去するか,広範に脆弱であるかどうか,提案プロパティが未摂動データ上で可視であるかどうか,そして,潜伏者がタスク分類器に重要であるという強い主張を別々に検証する。 摂動感度だけでは、SAE潜伏剤が表すものを確立しない。

関連論文リスト

• Support Operation Factorization: Compositional Readout of Frozen Vision Encoders under Controlled Interventions [87.95757610455173]
  我々は、x演算グリッドとSO-OPFをサポートするために、インジェクティブに整合した残余セルアウトプロトコルを導入する。 グリッドが分かっているときにキャリアがホールドアウトバインディングを構成するかどうか、フラットなセルラベルからグリッドを回収できるかどうかという2つの質問を分離する。
  論文  参考訳（メタデータ） (2026-08-06T15:38:55Z)
• From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability [53.681678236115836]
  我々は,SAEに基づく説明を,基盤となる凍結LMの忠実な見方として扱うことができるかを検討した。 この枠組みは, 4つの測定可能な量を用いて, 基本モデルの予測リスクの上限を導出する。 我々は, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界が非空洞となることを示す。
  論文  参考訳（メタデータ） (2026-06-16T18:28:23Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Layer Collapse in Diffusion Language Models [54.880703002010144]
  拡散言語モデル (DLM) は自己回帰言語モデル (AR) の代替として登場した。 DLMの層崩壊は, 過度なトレーニングによるものではなく, 過度なトレーニングによるものであることを示す。 私たちの発見は、非常に実践的な意味を持っている。
  論文  参考訳（メタデータ） (2026-05-07T14:39:40Z)
• Sanity Checks for Sparse Autoencoders: Do SAEs Beat Random Baselines? [10.871959954490217]
  スパースオートエンコーダ(SAE)は、アクティベーションをスパースセットの人間解釈可能な特徴に分解することで、ニューラルネットワークを解釈するための有望なツールとして登場した。 最近の研究は複数のSAE変異体を導入し、フロンティアモデルへの拡張に成功した。 多くの興奮にもかかわらず、下流タスクにおけるネガティブな結果の増加は、SAEが有意義な特徴を回復するかどうかに疑問を投げかけている。
  論文  参考訳（メタデータ） (2026-02-15T11:53:55Z)
• Dense SAE Latents Are Features, Not Bugs [86.50389855919292]
  言語モデル計算において,高密度潜伏剤が機能的役割を担っていることを示す。 位置追跡,コンテキストバインディング,エントロピー制御,文字固有出力信号,パート・オブ・音声,主成分再構成に関連するクラスを同定する。
  論文  参考訳（メタデータ） (2025-06-18T17:59:35Z)
• A is for Absorption: Studying Feature Splitting and Absorption in Sparse Autoencoders [0.0]
  階層的特徴のスパース分解と分割は堅牢ではないことを示す。 具体的には、モノセマンティックな特徴が本来あるべき場所に放たれるのに失敗し、代わりに子供の特徴に"吸収"されることを示す。
  論文  参考訳（メタデータ） (2024-09-22T16:11:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。