論文の概要: Active Budget Can Kill Sensitivity: Diagnosing and Repairing TopK Sparse Autoencoder Reliability

• arxiv url: http://arxiv.org/abs/2609.37857v2
• Date: Wed, 30 Sep 2026 07:20:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.330348
• Title: Active Budget Can Kill Sensitivity: Diagnosing and Repairing TopK Sparse Autoencoder Reliability
• Title（参考訳）: アクティブ予算は感受性を損なう:TopKスパースオートエンコーダの信頼性の診断と修復
• Abstract要約: スパースオートエンコーダ(SAE)は、大きな言語モデルのアクティベーションから微細構造を復元するために、より広い辞書に拡張される。 本研究では,TopK SAEの信頼性問題について,特徴感度を用いて検討する。 実験では、スケーリングは稀な特徴の感度を選択的に低下させるが、共通の特徴は比較的安定している。
• 参考スコア（独自算出の注目度）: 17.098113466594274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse autoencoders (SAEs) are increasingly scaled to wider dictionaries to recover fine-grained structure from large language model activations. However, a feature is useful for interpretation only if it remains a stable unit of analysis when the same meaning is expressed in different surface forms. We study this reliability question for TopK SAEs via feature sensitivity. Experiments demonstrate that scaling selectively reduces the sensitivity of rare features, while common features remain comparatively stable. A controlled width\(\times k\) factorial experiment identifies the active budget k as the root cause: the degradation arises from the selection boundary rather than dictionary width alone. We attribute this failure to the geometry of TopK selection. The active margin, the distance to the cutoff, predicts feature loss without thresholds. Guided by this margin diagnosis, we introduce pairwise rank stabilization. Our method targets ordering failures at the cutoff and improves rare-feature sensitivity by \(8.83\) percentage points, while keeping reconstruction and alive-feature coverage near the baseline. Overall, our results suggest that wide TopK SAEs should be evaluated not only by reconstruction, sparsity, and feature count, but also by feature reliability under semantic variation and boundary geometry for stable interpretability.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、大きな言語モデルのアクティベーションから微細な構造を復元するために、より広い辞書に拡張される。 しかし、同じ意味が異なる曲面形式で表される場合、その特徴が解析の安定な単位のままである場合に限り、解釈に有用である。 本研究では,TopK SAEの信頼性問題について,特徴感度を用いて検討する。 実験では、スケーリングは稀な特徴の感度を選択的に低下させるが、共通の特徴は比較的安定している。 制御された幅\(\times k\)因子的実験は、活性予算kを根本原因とし、分解は辞書幅のみでなく選択境界から生じる。 この失敗はTopK選択の幾何学に起因している。 アクティブマージン(カットオフまでの距離)は、閾値なしで特徴損失を予測する。 このマージン診断に導かれて、一対のランク安定化を導入する。 本手法は, カットオフ時の故障の受注を目標とし, 基地線付近の修復と生存率を維持しつつ, 希少感度を(8.83\) ポイント向上させる。 以上の結果から,TopK SAEは再構成,疎度,特徴量だけでなく,意味的変動下における特徴信頼性や,安定な解釈性のための境界形状によって評価されるべきであることが示唆された。

関連論文リスト

• CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
  既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。 我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
  論文  参考訳（メタデータ） (2026-06-04T07:27:53Z)
• Perplexity Can Miss SAE Feature Damage Under Quantization [0.16921396880325779]
  量子化モデルは、パープレキシティや下流の精度が完全精度のオリジナルに近い場合、許容できると判断される。 凍結スパースオートエンコーダ(SAE)を固定的な測定基準として用いることでこれを検証する。
  論文  参考訳（メタデータ） (2026-06-02T01:17:05Z)
• Preference Instability in Reward Models: Detection and Mitigation via Sparse Autoencoders [20.13794189010598]
  大規模言語モデルにおける優先学習は、人間の判断のためのプロキシとして報酬モデルに依存している。 この不安定性を3つの意味保存摂動型を用いて表現レベルで解析する。 我々は2つのSAEベースの不安定緩和戦略を提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:48:48Z)
• Learning Uncertainty from Sequential Internal Dispersion in Large Language Models [52.29267172760918]
  不確実性推定は、大規模言語モデルにおける幻覚を検出するための有望なアプローチである。 最近の手法は一般に不確実性を推定するために内部状態のモデルに依存する。 本稿では,教師付き幻覚検出フレームワークであるシークエンシャル内部変数表現(SIVR)を提案する。
  論文  参考訳（メタデータ） (2026-04-17T06:31:29Z)
• SAIF: A Stability-Aware Inference Framework for Medical Image Segmentation with Segment Anything Model [11.410993498576936]
  Segment Anything Model (SAM)は、スケーラブルな医療画像セグメンテーションを可能にするが、フリーズバックボーンとしてデプロイされた場合、推論時の不安定さに悩まされる。 本研究では,プロンプトとしきい値の不確実性を明示的にモデル化し,ロバスト性を向上させるためのトレーニングフリーかつプラグアンドプレイ型推論フレームワークであるStable-Aware Inference Framework (SAIF)を提案する。
  論文  参考訳（メタデータ） (2026-03-13T19:15:34Z)
• Identifying Intervenable and Interpretable Features via Orthogonality Regularization [48.938969291033665]
  我々はデコーダ行列をほぼ直交的な特徴に分解する。 これにより、ターゲットデータセットのパフォーマンスを本質的に変更することなく、機能間の干渉と重畳を低減することができる。 私たちのコードは、$texttthttps://github.com/mrtzmllr/sae-icm$で利用可能です。
  論文  参考訳（メタデータ） (2026-02-04T16:29:14Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Analysis of Variational Sparse Autoencoders [1.675385127117872]
  SAEアーキテクチャに変分手法を組み込むことで,特徴構造や解釈可能性が改善されるかどうかを検討する。 本稿では,変分スパースオートエンコーダ(vSAE)を導入し,決定論的ReLUゲーティングを学習したガウス後部からのサンプリングに置き換える。 以上の結果から,SAEに対する変分法の適用は,機能的構造や解釈可能性の向上には至らないことが示唆された。
  論文  参考訳（メタデータ） (2025-09-26T23:09:56Z)
• Towards Reliable Medical Image Segmentation by Modeling Evidential Calibrated Uncertainty [57.023423137202485]
  医用画像のセグメンテーションの信頼性に関する懸念が臨床医の間で続いている。 本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。 主観的論理理論を活用することで、医用画像分割の確率と不確実性を明示的にモデル化する。
  論文  参考訳（メタデータ） (2023-01-01T05:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。