論文の概要: Shaped SAEs: Expanding the Toolkit for Mechanistic Interpretability

• arxiv url: http://arxiv.org/abs/2610.27375v1
• Date: Mon, 19 Oct 2026 22:58:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.540828
• Title: Shaped SAEs: Expanding the Toolkit for Mechanistic Interpretability
• Title（参考訳）: Shaped SAEs: 機械的解釈性のためのツールキットの拡張
• Abstract要約: 我々は,SAE学習に先立って,高密度なアクティベーションを線形に表現することで,学習した辞書原子のセマンティック選択性を高めることができるかどうかを問う。 本研究では, (a) アフィン形状変換を辞書原子とともに学習し, (b) 原子選択機構は, 原子が分散する1次元部分空間に沿ったTopKプロジェクションに基づいて, (c) 同一原子を用いて再構成を行う新しいSAEの訓練手法を提案する。
• 参考スコア（独自算出の注目度）: 3.8896284967769468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse autoencoders (SAEs) seek to decompose the dense activations of large language models (LLMs) into sparse, potentially interpretable features using a learned overcomplete dictionary. In this work, we ask whether it is possible to enhance the semantic selectivity of the learned dictionary atoms by linearly \emph{shaping} the dense activations prior to learning an SAE. We explore rank-reducing transformations based on the recently introduced J-space corresponding to the averaged Jacobian from the current layer to the LLM output, projecting activations onto the ``live'' subspace spanned by eigenmodes of the Jacobian with larger singular values (which we expect to be more semantically relevant). We also introduce a new approach for training SAEs in which (a)~an affine shaping transformation is learned along with the dictionary atoms, (b)~the atom selection mechanism is based on the TopK projections along the one-dimensional subspace spanned by the atoms, and (c)~reconstruction is carried out using the same atoms. We call this approach a Matched Filter SAE (MF-SAE) based on analogies with communication theory. The promise of shaping is demonstrated via evaluations against dense activations and state-of-the-art SAEs on benchmarks including SAEBench and SAE Probes.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、学習されたオーバーコンプリート辞書を用いて、大きな言語モデル(LLM)の高密度なアクティベーションをスパースに分解し、潜在的に解釈可能な機能に分解しようとする。 本研究では,SAEの学習に先立って高密度なアクティベーションを線形に \emph{shaping} することにより,学習した辞書原子のセマンティック選択性を高めることができるかどうかを問う。 我々は、現在層から LLM 出力への平均化ヤコビアンに対応する最近導入された J-空間に基づいて階数還元変換を探求し、より大きな特異値を持つヤコビアンの固有モデム(より意味論的に関係があると思われる)で広がる `live'' 部分空間に活性化を投影する。 我々はまた、SAEを訓練するための新しいアプローチも導入する。 (a)~辞書原子とともにアフィン整形変換が学習される。 (b)~原子選択機構は、原子が分散する1次元部分空間に沿ったTopKプロジェクションに基づいており、 (c)-同じ原子を用いて再構成を行う。 我々はこの手法を通信理論の類似に基づくマッチングフィルタSAE (MF-SAE) と呼ぶ。 SAEBenchやSAE Probesといったベンチマーク上で、高密度活性化と最先端のSAEに対する評価を通じて、シェイピングの可能性を実証している。

関連論文リスト

• Qwen-Scope: Turning Sparse Features into Development Tools for Large Language Models [80.45129499188461]
  我々はQwenモデルファミリ上に構築されたスパースオートエンコーダ(SAE)のオープンソーススイートであるQwen-Scopeを紹介する。 SAEはポストホック解析を超越して,4方向のモデル開発のための実用的なインターフェースとして機能することを示す。
  論文  参考訳（メタデータ） (2026-05-12T10:01:06Z)
• Sparse Semantic Dimension as a Generalization Certificate for LLMs [53.681678236115836]
  Sparse Semantic Dimension (SSD)は,モデル層上で訓練されたSparse Autoencoder (SAE)のアクティブな特徴語彙から導かれる複雑性尺度である。 我々はGPT-2 Small と Gemma-2B でこの枠組みを検証し、実際のサンプルサイズで非空き証明書を提供することを実証した。
  論文  参考訳（メタデータ） (2026-02-11T21:45:18Z)
• ProtSAE: Disentangling and Interpreting Protein Language Models via Semantically-Guided Sparse Autoencoders [30.219733023958188]
  Sparse Autoencoder (SAE) は、大規模言語モデルの機械的解釈可能性のための強力なツールとして登場した。 ProtSAEと呼ばれる意味誘導型SAEを提案する。 ProtSAEは,従来の方法と比較して,生物学的に関連性があり,隠れた特徴を解釈できることがわかった。
  論文  参考訳（メタデータ） (2025-08-26T11:20:31Z)
• Evaluating Sparse Autoencoders: From Shallow Design to Matching Pursuit [23.806945495163774]
  スパースオートエンコーダ(SAE)は近年,解釈可能性の中心的なツールとなっている。 本稿では,MNISTを用いた制御環境でのSAEの評価を行う。 我々はそれらをMP-SAE(Matching Pursuit)をアンロールする反復SAEと比較する。
  論文  参考訳（メタデータ） (2025-06-05T16:57:58Z)
• Evaluating and Designing Sparse Autoencoders by Approximating Quasi-Orthogonality [3.9230690073443166]
  近似的特徴アクティベーション(AFA)の定式化に基づく新しいアクティベーション関数 Top-AFA を導入する。 3つの中間層上のSAEをトレーニングして、OpenWebTextデータセットから8000万以上のトークンに対して、GPT2の隠れ埋め込みを再構築することにより、このアプローチの実証的なメリットを実演する。
  論文  参考訳（メタデータ） (2025-03-31T16:22:11Z)
• Sparse Autoencoders Do Not Find Canonical Units of Analysis [6.0188420022822955]
  機械的解釈可能性の一般的な目標は、ニューラルネットワークの活性化を機能に分解することである。 スパースオートエンコーダ(SAE)はこれらの特徴を見つけるための一般的な方法である。 SAE縫合は不完全であることを示すもので、メタSAEは原子ではないことを示すものである。
  論文  参考訳（メタデータ） (2025-02-07T12:33:08Z)
• On the Expressiveness and Length Generalization of Selective State-Space Models on Regular Languages [56.22289522687125]
  SSM(Selective State-space Model)はTransformerの代替品である。 正規言語タスクにおける表現性や長さの一般化性能を解析する。 本稿では,Selective Dense State-Space Model (SD-SSM)を紹介する。
  論文  参考訳（メタデータ） (2024-12-26T20:53:04Z)
• Llama Scope: Extracting Millions of Features from Llama-3.1-8B with Sparse Autoencoders [115.34050914216665]
  スパースオートエンコーダ(SAE)は、言語モデルからスパース表現を抽出する強力な教師なし手法として登場した。 我々は、Llama-3.1-8B-Baseモデルの各層とサブ層で訓練された256個のSAEスイートを紹介し、32Kと128Kの特徴を持つ。 基礎モデルに基づいて訓練されたSAEのより長い文脈と微調整モデルへの一般化性を評価する。
  論文  参考訳（メタデータ） (2024-10-27T17:33:49Z)
• Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
  我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。 テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
  論文  参考訳（メタデータ） (2020-03-18T13:07:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。