論文の概要: Beyond the Hard Budget: Sparsity Regularizers for More Interpretable Top-k Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2606.27321v1
• Date: Thu, 25 Jun 2026 17:34:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.381954
• Title: Beyond the Hard Budget: Sparsity Regularizers for More Interpretable Top-k Sparse Autoencoders
• Title（参考訳）: ハード予算を超えて:より解釈可能なトップkスパースオートエンコーダのためのスパーシティ正規化器
• Abstract要約: 我々はTop-k$アーキテクチャと互換性のある2つの空間正規化器を導入する。 私たちの中心的な発見は、互いに排他的というよりは、ハードなアーキテクチャのスパーシリティとソフトなスパーシリティの正則化が相補的であることです。
• 参考スコア（独自算出の注目度）: 9.291632832739822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse autoencoders (SAEs) have become a leading tool for interpreting the representations of vision foundation models, decomposing their polysemantic activations into a larger set of sparse, more monosemantic features. The Top-$k$ SAE, a now-standard variant, enforces sparsity architecturally through its activation function, retaining only the $k$ most active latents per input. Because it was designed precisely to avoid the $\ell_1$ penalty used by earlier SAEs and its known drawbacks, it has not been combined with an explicit sparsity regularizer, despite retaining limitations of its own, such as a budget $k$ that is fixed regardless of input complexity and a tendency to overfit to the training value of $k$. We introduce two sparsity regularizers compatible with the Top-$k$ architecture, both acting on the activations before the Top-$k$ selection: an $\ell_1$ penalty on the unselected (off-support) units, and a scale-invariant $\ell_1/\ell_2$-ratio penalty that concentrates the code onto fewer effective units. Both penalties are applied only to the batch-active units, those selected by the Top-$k$ operator at least once within the batch. Across two datasets, three vision foundation models, and a range of $k$, both regularizers consistently improve monosemanticity at no cost to reconstruction quality. The $\ell_1/\ell_2$ penalty further concentrates information into fewer latents, making reconstruction more robust to the inference-time choice of $k$ and improving small-budget linear probing. Our central finding is that hard architectural sparsity and soft sparsity regularization are complementary rather than mutually exclusive.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、視覚基盤モデルの表現を解釈し、それらのポリセマンティックなアクティベーションをより大きなスパースでモノセマンティックな特徴集合に分解する主要なツールとなっている。 現在標準となっているSAEのTop-k$は、アクティベーション機能を通じてアーキテクチャ的に疎結合を強制し、入力あたりの最もアクティブな潜伏者に対して$k$のみを保持する。 以前のSAEが使用する$\ell_1$のペナルティとその既知の欠点を避けるために、正確に設計されたため、入力の複雑さに関わらず固定される$k$や、トレーニング値に過度に適合する傾向のある$k$のような、独自の制限を保っているにもかかわらず、明示的なスパシティ正規化器と組み合わせられていない。 我々はTop-k$アーキテクチャと互換性のある2つのスパシティ正規化器を導入し、どちらもTop-k$選択前のアクティベーションに作用する: 選択されていない(サポートなし)ユニットに$\ell_1$ペナルティ、スケール不変な$\ell_1/\ell_2$-ratioペナルティ。 どちらのペナルティもバッチアクティブなユニットにのみ適用され、Top-$k$演算子によって選択されたペナルティは少なくとも1回はバッチ内で適用される。 2つのデータセット、3つのビジョンファウンデーションモデル、および様々な$kの範囲で、両方の正規化器は品質を再構築するためのコストなしで、一貫してモノセマンティを改善します。 $\ell_1/\ell_2$のペナルティは、より少ない潜伏者に情報を集中させ、$k$の推論時間選択をより堅牢にし、小さな予算の線形探索を改善する。 私たちの中心的な発見は、互いに排他的というよりは、ハードなアーキテクチャのスパーシリティとソフトなスパーシリティの正則化が相補的であることです。

関連論文リスト

• Subspace-Aware Sparse Autoencoders for Effective Mechanistic Interpretability [11.543771846135021]
  スパースオートエンコーダ(SAE)は、大規模言語モデルにおける機械的解釈可能性に広く用いられている。 この仮定はモデル特徴の多次元構造と一致しないことを示す。 本稿では,単一ベクトルデコーダを学習したデコーダサブスペースに置き換えるSubspace-Aware Sparse Autoencoders (SASA)を紹介する。
  論文  参考訳（メタデータ） (2026-06-04T16:08:25Z)
• Imbuing Large Language Models with Bidirectional Logic for Robust Chain Repair [44.80087038178069]
  本稿では,デコーダのみのトランスフォーマーをネイティブに組み込んだトレーニングフレームワークであるTeleological Reasoning Infilling (TRI)を紹介する。 推測では、TRIは二重システムループ内の外科的修復モジュールとして動作する。 3つのベンチマークの実験では、TRIは全てのタスクで最先端のパフォーマンスを達成し、プロブレム当たりのトークン支出を31.2%削減した。
  論文  参考訳（メタデータ） (2026-06-03T15:58:48Z)
• Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
  JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。 自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。 我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
  論文  参考訳（メタデータ） (2026-05-14T20:27:32Z)
• Learning Hippo: Multi-attractor Dynamics and Stability Effects in a Biologically Detailed CA3 Extension of Hopfield Networks [0.0]
  本稿では,CA3における古典ホップフィールド/マーの自動連想メモリモデルの拡張について述べる。 われわれは10個体群(非対称錐体サブタイプ2種,GABA作動性インターニューロンクラス8種),4つのコンパートメント,複数ルール可塑性,およびバイモーダルコリン作動性エンコーディング/コンソリデーションサイクルを実装した。
  論文  参考訳（メタデータ） (2026-04-22T15:28:17Z)
• Learning Accurate Segmentation Purely from Self-Supervision [87.78965637247107]
  Selfmentは完全に自己管理型のフレームワークで、人間のラベルなしでオブジェクトを生画像から直接分割する。 Selfmentは、複数のベンチマークで新しい最先端(SoTA)結果を設定する。
  論文  参考訳（メタデータ） (2026-02-27T07:36:32Z)
• Multiple-play Stochastic Bandits with Prioritized Arm Capacity Sharing [52.124267908936396]
  このモデルは、$M$armと$K$playで構成されている。 各アームには複数の能力があり、各ユニットの能力は報酬関数に関連付けられている。 複数のプレーがアームキャパシティを競う場合、アームキャパシティは第1の優先重みで割り当てられる。
  論文  参考訳（メタデータ） (2025-12-25T11:19:09Z)
• Beyond Softmax: A Natural Parameterization for Categorical Random Variables [61.709831225296305]
  階層的なバイナリ分割のシーケンスで構成される関数である$textitcatnat$関数を紹介します。 実験により,提案した関数は学習効率を向上し,一貫した試験性能を特徴とするモデルが得られることを示した。
  論文  参考訳（メタデータ） (2025-09-29T12:55:50Z)
• Differentiable Sparsity via $D$-Gating: Simple and Versatile Structured Penalization [22.883367233817836]
  D$-Gatingは、理論上、元の群疎性問題の解法と等価であることを示す。 ビジョン、言語、タスクにまたがって私たちの理論を検証する。
  論文  参考訳（メタデータ） (2025-09-28T14:08:29Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free Reinforcement Learning [52.76230802067506]
  漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。 提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。 初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
  論文  参考訳（メタデータ） (2021-10-09T21:13:48Z)
• Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
  スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。 本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。 提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
  論文  参考訳（メタデータ） (2020-09-21T02:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。