論文の概要: ScopeSAE: Model-Scope Feature Discovery with Interpretable Layer Selection

• arxiv url: http://arxiv.org/abs/2610.04905v1
• Date: Sun, 04 Oct 2026 03:32:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 08:06:48.127752
• Title: ScopeSAE: Model-Scope Feature Discovery with Interpretable Layer Selection
• Title（参考訳）: ScopeSAE: 解釈可能な層選択によるモデルスコープの特徴発見
• Abstract要約: 本稿では,各予測を最も影響力のあるトークン層状態に変換することにより,トークンごとのモデリング部分空間を選択するScopeSAEを提案する。 また,ScopeSAEは,既存の層ベースラインよりも有効機能数,解釈可能性,利用性,辞書の冗長性を向上することを示した。
• 参考スコア（独自算出の注目度）: 22.938139438557474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) are a central tool in mechanistic interpretability. However, existing SAEs are primarily trained per layer. The modeling subspace is therefore fixed by layer identity, independent of which token-layer states actually drive each prediction. We argue that this constraint contributes to several limitations observed in layer-wise SAEs, including low feature utilization, high dictionary redundancy, and features that lack direct behavioral grounding. In this paper, we propose ScopeSAE, which selects the modeling subspace per token by attributing each prediction to its most influential token-layer state via normalized gradient-based attribution, and learns features over the resulting prediction-relevant subspace. Empirically, ScopeSAE yields an effect we term reconstruction-better-than-original. Written-back reconstructions of the SAE produce lower next-token cross-entropy than the original activations, an outcome that, to our knowledge, has not previously been reported for SAEs. Through interventional analyses and a KL fine-tuning counter-experiment, we show that this effect is attributable to ScopeSAE's prediction-relevant subspace itself rather than to architectural changes. ScopeSAE further improves effective feature count, interpretability, utilization, and dictionary redundancy over existing layer-based baselines, suggesting that choosing the SAE modeling subspace by predictive relevance leads to more useful and behaviorally meaningful features.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は機械的解釈可能性の中心的なツールである。 しかし、既存のSAEは主に層ごとに訓練されている。 したがって、モデリングサブ空間は層アイデンティティによって固定され、トークン層状態とは独立して各予測を実際に駆動する。 この制約は、機能利用の低さ、辞書の冗長性、直接的な行動基盤に欠ける特徴など、レイヤワイズSAEで見られるいくつかの制限に寄与する、と我々は主張する。 本稿では,正規化勾配に基づく属性を用いて各予測を最も影響力のあるトークン層状態に属性付けすることで,トークンごとのモデリング部分空間を選択するScopeSAEを提案し,その結果の予測関連部分空間に関する特徴を学習する。 実験的に、ScopeSAE は、リコンストラクション・ベター・ザ・オリジン(Restructation-better-than- Origin)と呼ばれる効果をもたらす。 SAEの裏書きによる再建は、従来の活性化よりも低次のエントロピーをもたらすが、我々の知る限り、これまでSAEに対して報告されていない結果である。 干渉解析とKL微調整実験により、この効果は建築的変化ではなく、ScopeSAEの予測関連部分空間自体に起因していることが示された。 ScopeSAEはさらに、既存のレイヤベースのベースラインよりも効果的な特徴数、解釈可能性、利用、辞書冗長性を改善し、予測関連性によってSAEモデリングサブスペースを選択することで、より有用で行動に意味のある特徴をもたらすことを示唆している。

関連論文リスト

• From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability [53.681678236115836]
  我々は,SAEに基づく説明を,基盤となる凍結LMの忠実な見方として扱うことができるかを検討した。 この枠組みは, 4つの測定可能な量を用いて, 基本モデルの予測リスクの上限を導出する。 我々は, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界が非空洞となることを示す。
  論文  参考訳（メタデータ） (2026-06-16T18:28:23Z)
• Qwen-Scope: Turning Sparse Features into Development Tools for Large Language Models [80.45129499188461]
  我々はQwenモデルファミリ上に構築されたスパースオートエンコーダ(SAE)のオープンソーススイートであるQwen-Scopeを紹介する。 SAEはポストホック解析を超越して,4方向のモデル開発のための実用的なインターフェースとして機能することを示す。
  論文  参考訳（メタデータ） (2026-05-12T10:01:06Z)
• Sparsity as a Key: Unlocking New Insights from Latent Structures for Out-of-Distribution Detection [4.496267803613718]
  本稿では, オフ・オブ・ディストリビューション(OOD)検出のためのViT[]トークンにSAEを初めて適用する。 以上の結果から,SAEが明らかにした疎結合な特徴は,視覚モデルにおける強力なOOD検出のための強力な解釈可能なツールとして機能する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-04-29T08:23:38Z)
• Analysis of Variational Sparse Autoencoders [1.675385127117872]
  SAEアーキテクチャに変分手法を組み込むことで,特徴構造や解釈可能性が改善されるかどうかを検討する。 本稿では,変分スパースオートエンコーダ(vSAE)を導入し,決定論的ReLUゲーティングを学習したガウス後部からのサンプリングに置き換える。 以上の結果から,SAEに対する変分法の適用は,機能的構造や解釈可能性の向上には至らないことが示唆された。
  論文  参考訳（メタデータ） (2025-09-26T23:09:56Z)
• Dense SAE Latents Are Features, Not Bugs [86.50389855919292]
  言語モデル計算において,高密度潜伏剤が機能的役割を担っていることを示す。 位置追跡,コンテキストバインディング,エントロピー制御,文字固有出力信号,パート・オブ・音声,主成分再構成に関連するクラスを同定する。
  論文  参考訳（メタデータ） (2025-06-18T17:59:35Z)
• Improved Feature Generating Framework for Transductive Zero-shot Learning [31.656888766677664]
  特徴生成適応ネットワークは、目に見えないクラスの高品質な表現を生成するために強力な生成モデルとして登場した。 ゼロショット学習(TZSL)の枠組みにおける未確認クラス事前の重要影響について考察する。 PFA学習(Pseudo-conditional Feature Adversarial)とVER学習(VER)の2つの新しいコンポーネントを組み込んだ改良型特徴生成フレームワークI-VAEGANを紹介する。
  論文  参考訳（メタデータ） (2024-12-24T08:42:16Z)
• SSPNet: Scale and Spatial Priors Guided Generalizable and Interpretable Pedestrian Attribute Recognition [23.55622798950833]
  Pedestrian Attribute Recognition(PAR)モデルに対して,SSPNet(Scale and Spatial Priors Guided Network)を提案する。 SSPNetは、異なる属性グループに対して適切なスケールの事前情報を提供することを学び、モデルが異なるレベルの機能マップに集中できるようにする。 Weakly-supervised Pedestrian Attribute Localization (WPAL) に対して, 属性応答マスクのGrad-CAMの改良に基づく新しいIoU属性ローカライゼーション指標を提案する。
  論文  参考訳（メタデータ） (2023-12-11T00:41:40Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Structure-Aware Feature Generation for Zero-Shot Learning [108.76968151682621]
  潜在空間と生成ネットワークの両方を学習する際の位相構造を考慮し,SA-GANと呼ばれる新しい構造認識特徴生成手法を提案する。 本手法は,未確認クラスの一般化能力を大幅に向上させ,分類性能を向上させる。
  論文  参考訳（メタデータ） (2021-08-16T11:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。