Fugu-MT 論文翻訳(概要): Expander Sparse Autoencoders: Parameter-Efficient Dictionaries for Mechanistic Interpretability

論文の概要: Expander Sparse Autoencoders: Parameter-Efficient Dictionaries for Mechanistic Interpretability

arxiv url: http://arxiv.org/abs/2607.01799v1
Date: Thu, 02 Jul 2026 07:16:14 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-03 19:45:08.717162
Title: Expander Sparse Autoencoders: Parameter-Efficient Dictionaries for Mechanistic Interpretability
Title（参考訳）: エクスパンダースパースオートエンコーダ:機械的解釈可能性のためのパラメータ効率の良い辞書
Authors: Rodrigo Mendoza-Smith,
Abstract要約: スパースオートエンコーダ(SAE)は、ニューラルネットワークの内部活性化を、学習した特徴のスパース線形結合に分解する。左$d$-regular拡張マスクでデコーダと紐付きエンコーダがサポートされているTopK SAEは、sparse-code問題$(m,n,k)$を保ちながら、$dll m$しか学習しない。実験により, Pythia-70M/160M, Qwen2.5-3B, Llama-3.2-1B の残差ストリーム活性化が一貫したストレージ-ファイダリティフロンティアとなることがわかった。
参考スコア（独自算出の注目度）: 0.2538209532048866
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Sparse autoencoders (SAEs) decompose internal activations of neural networks into sparse linear combinations of learned features by fitting an overcomplete dictionary $\mathbf{W}\in\mathbb{R}^{m\times n}$ with $m<n$, and inferring a sparse code $\mathbf{x}\in\mathbb{R}^n$ from $\mathbf{h}\approx\mathbf{W}\mathbf{x}$. This inference problem closely resembles the canonical setup of compressed sensing, but dense decoders requires $O(mn)$ learned values, which becomes costly at large feature counts. We introduce Expander SAEs: TopK SAEs whose decoder and tied encoder are supported on a left-$d$-regular expander mask with $d\ll m$, learning only $dn$ decoder values while keeping the sparse-coding problem $(m,n,k)$ fixed. The same structure reduces storage and turns the matching-pursuit correlation step $\mathbf{W}^\top \mathbf{r}$ in OMP into an $O(dn)$ gather-and-reduce operation. Our experiments show that across Pythia-70M/160M, Qwen2.5-3B, and Llama-3.2-1B residual-stream activations, varying $d$ traces a consistent storage--fidelity frontier, and that at the most compressed modern-LM setting, Qwen2.5-3B with $d=7$ uses $293\times$ fewer learned decoder values than the full dense decoder while retaining $84$% of dense CE-loss recovered. Control experiments show that the improved storage--fidelity tradeoff is driven by sparse, diverse decoder support structure rather than by fewer learned decoder values, and that when sparse and dense decoders are compared at matched parameter count, part of the remaining gap comes from encoder amortisation. On the theoretical side, we show that expansion and column flatness are sufficient for identifiability of noiseless $k$-sparse codes, and we derive complementary sufficient conditions under which OMP recovers the support exactly.
Abstract（参考訳）: スパースオートエンコーダ(SAE)は、オーバーコンプリート辞書 $\mathbf{W}\in\mathbb{R}^{m\times n}$ を $m<n$ に固定し、スパースコード $\mathbf{x}\in\mathbb{R}^n$ を $\mathbf{h}\approx\mathbf{W}\mathbf{x}$ から推論することにより、ニューラルネットワークの内部の活性化を学習特徴のスパース線形結合に分解する。この推論問題は圧縮センシングの標準設定とよく似ているが、高密度デコーダは、大きな特徴数でコストがかかるために、O(mn)$の学習値を必要とする。 Expander SAEs: sparse-code問題$(m,n,k)$を保ちながら、$d\ll m$で左の$$-regularな展開マスクでデコーダと紐付きエンコーダがサポートされているTopK SAEsを紹介します。同じ構造は、ストレージを減らし、マッチング-プール相関ステップ $\mathbf{W}^\top \mathbf{r}$ を$O(dn)$ gather-and-reduce 演算に変換する。実験により,Pythia-70M/160M,Qwen2.5-3B,Llama-3.2-1Bの残差ストリームアクティベーションは,一貫したストレージ・フィデリティフロンティアをトレースし,最も圧縮されたモダンLMセッティングでは,Qwen2.5-3Bが$d=7$で$293\times,学習デコーダがフル高密度デコーダよりも少ないこと,さらに高密度CE-ロスの8,4$%を維持した。制御実験により、改良されたストレージ-忠実トレードオフは、学習したデコーダの少ない値ではなく、スパースで多様なデコーダサポート構造によって駆動され、スパースと密度の高いデコーダが一致したパラメータ数で比較される場合、残りのギャップの一部はエンコーダのアモータ化によるものであることが示された。理論的には、ノイズのない$k$sparse符号の識別に拡張とカラム平坦性が十分であることを示すとともに、OMPがサポートを正確に回復する補足条件を導出する。

論文の概要: Expander Sparse Autoencoders: Parameter-Efficient Dictionaries for Mechanistic Interpretability

関連論文リスト