論文の概要: From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability
- arxiv url: http://arxiv.org/abs/2606.18383v1
- Date: Tue, 16 Jun 2026 18:28:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-18 17:16:50.842832
- Title: From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability
- Title（参考訳）: スパース機能から信頼できるプロキシへ:SAEベースの解釈可能性の認定
- Abstract要約: 我々は,SAEに基づく説明を,基盤となる凍結LMの忠実な見方として扱うことができるかを検討した。
この枠組みは, 4つの測定可能な量を用いて, 基本モデルの予測リスクの上限を導出する。
我々は, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界が非空洞となることを示す。
- 参考スコア（独自算出の注目度）: 53.681678236115836
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse autoencoders (SAEs) are increasingly used to extract interpretable features from language models (LMs), yet a central question remains: when can an SAE-based explanation be treated as a faithful view of an underlying frozen LM We study this through a post-hoc generalization framework that certifies the LM via a sparse proxy, obtained by replacing a native hidden activation with its pretrained SAE reconstruction. Our framework derives an upper bound on the base model's expected risk using four measurable quantities: proxy risk, SAE reconstruction gap, concept-pool mismatch, and sparse complexity. We interpret this certificate as an operational criterion for explanatory faithfulness. In particular, a non-vacuous bound indicates that the extracted sparse features retain meaningful predictive information, while small reconstruction and mismatch errors indicate that the proxy remains behaviorally close to the original model. Empirically, we show that the bound becomes non-vacuous on GPT-2 Small, Gemma-2B, and Llama-3-8B at practical sample sizes. A detailed layerwise analysis of Llama-3-8B reveals a strong depth dependence, with later layers becoming much easier to certify, associated with both stronger local fidelity and weaker downstream error amplification. Finally, through feature-shuffling ablations, we show that the decomposition distinguishes genuine semantic alignment from mere statistical sparsity, providing a useful diagnostic for when SAE-based explanations become less reliable.
- Abstract（参考訳）: スパースオートエンコーダ (SAE) は言語モデル (LM) から解釈可能な特徴を抽出するために用いられることが多いが, 中心的な疑問が残る。 SAE に基づく説明を根底にある LM の忠実な見方として扱うことができるのか?
本フレームワークは,プロキシリスク,SAE再構成ギャップ,概念プールミスマッチ,スパース複雑性の4つの測定可能な量を用いて,ベースモデルの予測リスクを上限とする。
我々はこの証明書を説明的忠実性の運用基準と解釈する。
特に、非空き境界は、抽出されたスパース特徴が有意な予測情報を保持していることを示し、一方で、小さな再構成とミスマッチエラーは、プロキシが元のモデルに近い振る舞いを保っていることを示している。
実験により, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界は非空洞となることがわかった。
Llama-3-8Bの詳細な層状分析では、強い深さ依存性が示され、後続の層はより強い局所忠実度とより弱い下流誤差増幅の両方に関連付けられて、より容易に証明されるようになる。
最後に,特徴シャッフル処理により,その分解によって,意味的アライメントが単なる統計的疎度と区別され,SAEに基づく説明が信頼性の低い場合に有用な診断が可能となることを示す。
関連論文リスト
- When Pruning Meets Interpretability: Preserving Sparse Autoencoder Robustness in LLMs [15.418870425179875]
スパースオートエンコーダ(SAE)は、大きな言語モデルの内部表現を解釈するために広く使われている。
固定されたSAEの場合、その影響は摂動エネルギーによって支配されることを示す。
そこで我々は,同じ平均プルーニング間隔で低いパープレキシティを実現するレイヤワイド・スパシティ・アロケーション・ストラテジーを提案する。
論文 参考訳（メタデータ） (2026-08-26T15:57:42Z) - Quantifying Prior Dominance in RAG Systems [1.9544213396776273]
我々は、文脈情報ゲインを定量化するために、正規化コンテキスト利用(NCU)メトリクスを導入する。
1.5Bから72Bまでのアーキテクチャを,プロプライエタリな商用APIとともに評価する。
厳密な抽出におけるSLMの構造的優位性と文脈的付着性について検討した。
論文 参考訳（メタデータ） (2026-04-29T15:38:24Z) - Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
制約を克服するオイラー法に対する全変分に基づく解析法を開発した。
その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。
全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
論文 参考訳（メタデータ） (2026-02-26T00:47:51Z) - Sparse Semantic Dimension as a Generalization Certificate for LLMs [53.681678236115836]
Sparse Semantic Dimension (SSD)は,モデル層上で訓練されたSparse Autoencoder (SAE)のアクティブな特徴語彙から導かれる複雑性尺度である。
我々はGPT-2 Small と Gemma-2B でこの枠組みを検証し、実際のサンプルサイズで非空き証明書を提供することを実証した。
論文 参考訳（メタデータ） (2026-02-11T21:45:18Z) - Analysis of Variational Sparse Autoencoders [1.675385127117872]
SAEアーキテクチャに変分手法を組み込むことで,特徴構造や解釈可能性が改善されるかどうかを検討する。
本稿では,変分スパースオートエンコーダ(vSAE)を導入し,決定論的ReLUゲーティングを学習したガウス後部からのサンプリングに置き換える。
以上の結果から,SAEに対する変分法の適用は,機能的構造や解釈可能性の向上には至らないことが示唆された。
論文 参考訳（メタデータ） (2025-09-26T23:09:56Z) - Resurrecting the Salmon: Rethinking Mechanistic Interpretability with Domain-Specific Sparse Autoencoders [0.0]
SAEトレーニングを適切に定義されたドメインに制限することは、ドメイン固有の機能へのキャパシティを再配置することを示します。
SAEは最大20%のばらつきを説明でき、損失回復率が向上し、線形残留誤差を低減できる。
論文 参考訳（メタデータ） (2025-08-12T21:45:10Z) - On the Theoretical Understanding of Identifiable Sparse Autoencoders and Beyond [36.107366496809675]
スパースオートエンコーダ(SAE)は、大規模言語モデル(LLM)によって学習された特徴を解釈する強力なツールとして登場した。
複雑な重畳されたポリセマンティックな特徴を、わずかに活性化されたニューラルネットワークによる特徴再構成によって解釈可能なモノセマンティックな特徴に復元することを目的としている。
SAEの幅広い応用にもかかわらず、SAEがどのような条件下で、重畳された多意味的特徴から基底真理単意味的特徴を完全に回復できるかは不明である。
論文 参考訳（メタデータ） (2025-06-19T02:16:08Z) - Dense SAE Latents Are Features, Not Bugs [86.50389855919292]
言語モデル計算において,高密度潜伏剤が機能的役割を担っていることを示す。
位置追跡,コンテキストバインディング,エントロピー制御,文字固有出力信号,パート・オブ・音声,主成分再構成に関連するクラスを同定する。
論文 参考訳（メタデータ） (2025-06-18T17:59:35Z) - Evaluating and Designing Sparse Autoencoders by Approximating Quasi-Orthogonality [3.9230690073443166]
近似的特徴アクティベーション(AFA)の定式化に基づく新しいアクティベーション関数 Top-AFA を導入する。
3つの中間層上のSAEをトレーニングして、OpenWebTextデータセットから8000万以上のトークンに対して、GPT2の隠れ埋め込みを再構築することにより、このアプローチの実証的なメリットを実演する。
論文 参考訳（メタデータ） (2025-03-31T16:22:11Z) - Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。
評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
論文 参考訳（メタデータ） (2024-08-20T09:42:26Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。