論文の概要: Unstable Features, Reproducible Subspaces: Understanding Seed Dependence in Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2606.12138v1
• Date: Wed, 10 Jun 2026 14:32:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.504479
• Title: Unstable Features, Reproducible Subspaces: Understanding Seed Dependence in Sparse Autoencoders
• Title（参考訳）: 不安定な特徴,再現可能な部分空間:スパースオートエンコーダにおけるシード依存性を理解する
• Authors: Gleb Gerasimov, Timofei Rusalev, Nikita Balagansky, Daniil Laptev, Vadim Kurochkin, Daniil Gavrilov,
• Abstract要約: スパースオートエンコーダ(SAE)はニューラルネットワーク表現の解釈に広く用いられている。 各SAE特徴に対して、独立に訓練されたSAEにおいて同様の特徴が再び現れる確率を推定する。 安定な特徴は復元関連信号と予測関連信号のほとんどを持ち、不安定な特徴は限界的な影響が弱い。
• 参考スコア（独自算出の注目度）: 7.5916620727820225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) are widely used to interpret neural network representations, but their utility depends on whether the learned features are reproducible across training runs. We study this question through \emph{feature stability}: for each SAE feature, we estimate the probability that a similar feature reappears in an independently trained SAE. This yields a scalable per-feature signal that separates stable from unstable features. In a large-scale study across seeds, models, layers, dictionary sizes, and SAE variants, we find a pronounced functional asymmetry: stable features carry most of the reconstruction- and prediction-relevant signal, while unstable features have weak marginal impact and are dominated by low-frequency surface-form triggers in both activation statistics and automatic explanations. Geometrically, unstable features are individually non-reproducible but concentrate in reproducible lower-rank subspaces, suggesting that seed dependence often reflects basis ambiguity within a shared region of activation space rather than pure noise. A controlled synthetic model makes this mechanism explicit, showing that low-rank ground-truth features can be recovered at the subspace level while remaining non-identifiable as individual SAE latents across seeds. Finally, by pooling unique cross-seed features, we construct more stable SAEs while preserving explained variance in this setting. Together, these results show that unstable features are not merely failed or noisy latents: they have weak individual functional impact, but reflect reproducible low-dimensional structure that standard SAEs resolve differently across seeds.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)はニューラルネットワーク表現の解釈に広く用いられているが、学習した特徴がトレーニング実行中に再現可能であるかどうかによって異なる。 各SAE特徴に対して、独立に訓練されたSAEにおいて同様の特徴が再び現れる確率を推定する。 これにより、不安定な特徴から安定な特徴を分離するスケーラブルな機能ごとの信号が得られる。 種子、モデル、層、辞書サイズ、SAEの変種に対する大規模な研究では、安定な特徴は、ほとんどの再構成関連信号と予測関連信号を持ち、不安定な特徴は、限界的な影響が弱く、アクティベーション統計と自動説明の両方において、低周波な表面形状トリガーによって支配される、顕著な機能的非対称性が発見された。 幾何学的には、不安定な特徴は個々に再現不可能であるが、再現可能な低ランク部分空間に集中しており、種子依存は純粋なノイズではなく、活性化空間の共有領域における基底曖昧さを反映していることがしばしば示唆される。 制御された合成モデルにより、この機構が明確化され、種子をまたいだ個々のSAE潜伏剤として識別できないまま、低ランクの地上構造がサブスペースレベルで復元可能であることが示される。 最後に、ユニークなクロスシード特徴をプールすることで、より安定したSAEを構築しながら、この設定で説明された分散を保ちながら、より安定したSAEを構築する。 これらの結果は、不安定な特徴は単に機能的影響が弱いだけでなく、標準のSAEが種子間で異なる方法で分解する再現可能な低次元構造を反映していることを示している。

関連論文リスト

• Preference Instability in Reward Models: Detection and Mitigation via Sparse Autoencoders [20.13794189010598]
  大規模言語モデルにおける優先学習は、人間の判断のためのプロキシとして報酬モデルに依存している。 この不安定性を3つの意味保存摂動型を用いて表現レベルで解析する。 我々は2つのSAEベースの不安定緩和戦略を提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:48:48Z)
• Analysis of Variational Sparse Autoencoders [1.675385127117872]
  SAEアーキテクチャに変分手法を組み込むことで,特徴構造や解釈可能性が改善されるかどうかを検討する。 本稿では,変分スパースオートエンコーダ(vSAE)を導入し,決定論的ReLUゲーティングを学習したガウス後部からのサンプリングに置き換える。 以上の結果から,SAEに対する変分法の適用は,機能的構造や解釈可能性の向上には至らないことが示唆された。
  論文  参考訳（メタデータ） (2025-09-26T23:09:56Z)
• Dense SAE Latents Are Features, Not Bugs [86.50389855919292]
  言語モデル計算において,高密度潜伏剤が機能的役割を担っていることを示す。 位置追跡,コンテキストバインディング,エントロピー制御,文字固有出力信号,パート・オブ・音声,主成分再構成に関連するクラスを同定する。
  論文  参考訳（メタデータ） (2025-06-18T17:59:35Z)
• Stable Neighbor Denoising for Source-free Domain Adaptive Segmentation [91.83820250747935]
  擬似ラベルノイズは主に不安定なサンプルに含まれており、ほとんどのピクセルの予測は自己学習中に大きく変化する。 我々は, 安定・不安定な試料を効果的に発見する, SND(Stable Neighbor Denoising)アプローチを導入する。 SNDは、様々なSFUDAセマンティックセグメンテーション設定における最先端メソッドよりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-06-10T21:44:52Z)
• Spuriosity Didn't Kill the Classifier: Using Invariant Predictions to Harness Spurious Features [19.312258609611686]
  安定フィーチャーブースティング(SFB)は、安定かつ条件に依存しない不安定な特徴を分離する予測器を学習するためのアルゴリズムである。 SFBはテストドメインラベルを使わずに最適な予測器を学習できることを示す。 実データおよび合成データに対するSFBの有効性を実証的に示す。
  論文  参考訳（メタデータ） (2023-07-19T12:15:06Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Removing Spurious Features can Hurt Accuracy and Affect Groups Disproportionately [83.68135652247496]
  自然な修正は、モデルからスプリアスな特徴を取り除くことである。 誘導バイアスによる突発的特徴の除去は精度を低下させる可能性が示唆された。 また,ロバストな自己学習によって,全体的な正確性に影響を与えずにスプリアスな特徴を除去できることを示した。
  論文  参考訳（メタデータ） (2020-12-07T23:08:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。