論文の概要: Improving Robustness In Sparse Autoencoders via Masked Regularization

• arxiv url: http://arxiv.org/abs/2604.06495v1
• Date: Tue, 07 Apr 2026 21:56:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.259626
• Title: Improving Robustness In Sparse Autoencoders via Masked Regularization
• Title（参考訳）: マスク付正規化によるスパースオートエンコーダのロバスト性向上
• Abstract要約: トレーニング中にトークンをランダムに置き換え、共起パターンを乱すマスクベースの正規化を提案する。 これにより、SAEアーキテクチャ間の堅牢性と、吸収を低減し、探索性能を高め、OODギャップを狭める。
• 参考スコア（独自算出の注目度）: 21.265992727881514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) are widely used in mechanistic interpretability to project LLM activations onto sparse latent spaces. However, sparsity alone is an imperfect proxy for interpretability, and current training objectives often result in brittle latent representations. SAEs are known to be prone to feature absorption, where general features are subsumed by more specific ones due to co-occurrence, degrading interpretability despite high reconstruction fidelity. Recent negative results on Out-of-Distribution (OOD) performance further underscore broader robustness related failures tied to under-specified training objectives. We address this by proposing a masking-based regularization that randomly replaces tokens during training to disrupt co-occurrence patterns. This improves robustness across SAE architectures and sparsity levels reducing absorption, enhancing probing performance, and narrowing the OOD gap. Our results point toward a practical path for more reliable interpretability tools.
• Abstract（参考訳）: スパースオートエンコーダ (SAE) は、LLMの活性化をスパース潜在空間に投影する機械論的解釈可能性において広く用いられている。 しかし、スパシティだけでは解釈不可能なプロキシであり、現在のトレーニング目標はしばしば脆弱な潜在表現をもたらす。 SAEは特徴吸収の傾向がよく知られており、一般的な特徴は共起によりより特定の特徴によって仮定され、高い再構成忠実性にもかかわらず解釈性は低下する。 アウト・オブ・ディストリビューション(OOD)の性能に関する最近の否定的な結果は、未指定の訓練目標に結びついている広範囲な堅牢性関連障害をさらに浮き彫りにしている。 トレーニング中にトークンをランダムに置き換え、共起パターンを乱すマスクベースの正規化を提案することで、この問題に対処する。 これにより、SAEアーキテクチャ間の堅牢性と、吸収を低減し、探索性能を高め、OODギャップを狭める。 我々の結果は、より信頼性の高い解釈可能性ツールの実践的な道のりを指している。

関連論文リスト

• When Pruning Meets Interpretability: Preserving Sparse Autoencoder Robustness in LLMs [15.418870425179875]
  スパースオートエンコーダ(SAE)は、大きな言語モデルの内部表現を解釈するために広く使われている。 固定されたSAEの場合、その影響は摂動エネルギーによって支配されることを示す。 そこで我々は,同じ平均プルーニング間隔で低いパープレキシティを実現するレイヤワイド・スパシティ・アロケーション・ストラテジーを提案する。
  論文  参考訳（メタデータ） (2026-08-26T15:57:42Z)
• From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability [53.681678236115836]
  我々は,SAEに基づく説明を,基盤となる凍結LMの忠実な見方として扱うことができるかを検討した。 この枠組みは, 4つの測定可能な量を用いて, 基本モデルの予測リスクの上限を導出する。 我々は, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界が非空洞となることを示す。
  論文  参考訳（メタデータ） (2026-06-16T18:28:23Z)
• What Does the Server See? Understanding Privacy Leakage from Large Language Models in Split Inference [13.194874392306085]
  本稿では、クライアントの入力を再構築するために、中間的なアクティベーションマッチング問題を解決するActInvを紹介する。 この脆弱性を理解するために、我々は、層固有の復元抵抗を定量化する指標である摂動増幅係数(PAF)を開発した。 私たちの分析によると、プライバシーの脆弱性はレイヤ間で均一ではなく、いくつかのレイヤはリークの影響を受けやすいが、他のレイヤは自然な抵抗を提供する。
  論文  参考訳（メタデータ） (2026-05-22T02:14:16Z)
• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• When Does Sparsity Mitigate the Curse of Depth in LLMs [53.137717161619484]
  本研究では,分散伝播の規制として空間空間が機能し,深度利用が向上することを示す。 以上の結果から,大規模な言語モデルにおいて,より効率的な深度スケーリングを実現するための重要なメカニズムとして,スパーシリティが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-16T15:04:16Z)
• SSA: Sparse Sparse Attention by Aligning Full and Sparse Attention Outputs in Feature Space [31.792742191540356]
  SSA(スパース・スパース・アテンション)は,スパースとフルアテンションの両方を考慮した統合トレーニングフレームワークである。 SSAは、スパースとフルアテンション推論の両方の下で最先端のパフォーマンスを達成する。 本研究では,流し地における注意値の過度な配置を緩和することにより,自然的スパースアテンショントレーニングが長時間の文脈を驚くほど改善することを示す。
  論文  参考訳（メタデータ） (2025-11-25T09:21:57Z)
• Shortcut Invariance: Targeted Jacobian Regularization in Disentangled Latent Space [7.8904984750896885]
  ディープニューラルネットワークはショートカットを学習しやすく、刺激的で容易に学習できる相関関係を持つ。 ショートカット信号に機能的に不変な分類器を簡易かつ効果的に描画する手法を提案する。 我々はこれを対象のヤコビ正規化として分析し、分類器は急激な特徴を無視し、より複雑なコアセマンティック信号に依存するように強制する。
  論文  参考訳（メタデータ） (2025-11-24T07:09:08Z)
• Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
  スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。 SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。 近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。 本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
  論文  参考訳（メタデータ） (2025-11-07T22:19:34Z)
• Train One Sparse Autoencoder Across Multiple Sparsity Budgets to Preserve Interpretability and Accuracy [3.2248482136498433]
  我々は,複数の空間レベルにわたる再建を同時に最適化するために,単一のSAEを訓練する新しいトレーニング目標であるemphHierarchicalTopKを導入する。 実験の結果,HierarchicalTopKは高頻度でも高い解釈可能性スコアを保っていることがわかった。
  論文  参考訳（メタデータ） (2025-05-30T11:20:44Z)
• Improving LLM Safety Alignment with Dual-Objective Optimization [81.98466438000086]
  大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。 本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
  論文  参考訳（メタデータ） (2025-03-05T18:01:05Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)
• Rethinking Uncertainty in Deep Learning: Whether and How it Improves Robustness [20.912492996647888]
  対人訓練(AT)は、クリーンな例と他の種類の攻撃の両方において、パフォーマンスの低下に悩まされる。 エントロピー(EntM)やラベルスムーシング(LS)のような不確実な出力を促進する正規化器は、クリーンな例で精度を維持し、弱い攻撃下での性能を向上させることができる。 本稿では,逆学習分野において,EntMやLSを含む不確実性向上レギュレータを再検討する。
  論文  参考訳（メタデータ） (2020-11-27T03:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。