論文の概要: Aligned Training: A Parameter-Free Method to Improve Feature Quality and Stability of Sparse Autoencoders (SAE)

• arxiv url: http://arxiv.org/abs/2605.18629v1
• Date: Mon, 18 May 2026 16:34:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:50.092477
• Title: Aligned Training: A Parameter-Free Method to Improve Feature Quality and Stability of Sparse Autoencoders (SAE)
• Title（参考訳）: 配向訓練:スパースオートエンコーダ(SAE)の特徴品質と安定性を改善するパラメータフリー手法
• Authors: Michał Brzozowski, Neo Christopher Chung,
• Abstract要約: 深層ニューラルネットワーク(DNN)の内部動作の解釈にスパースオートエンコーダ(SAE)を用いる SAEは、少数の機能がアクティベートされず不安定である重大な欠点を示す。 本研究では,SAEのパラメータフリー再パラメータ化手法であるtextbfaligned trainingを提案する。
• 参考スコア（独自算出の注目度）: 2.406359246841227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) are one of the main methods to interpret the inner workings of deep neural networks (DNNs), decomposing activations into higher-dimensional features. However, they exhibit critical shortcomings where a large fraction of features are never activated and are unstable. Despite variants of SAEs that attempt to mitigate these issues, they require additional data, resampling, or training. We propose the \textbf{aligned training}, a parameter-free reparameterization of SAEs that simultaneously improves reconstruction quality, eliminates dead features, and significantly enhances stability across training seeds. Our approach is motivated by an overlooked observation that SAE feature quality, measured by the inner product between encoder and decoder directions (which we call the \textbf{alignment score}), follows a bimodal distribution across all modern architectures. The proposed aligned training enforces a geometric constraint between the encoder and decoder such that their inner product equals one for every feature, which removes a source of degeneracy in the SAE training without adding any hyperparameters. Across multiple models, dictionary sizes, and sparsity levels, the aligned training shows Pareto improvements on the SAEBench benchmarks. Beyond improving dead features, stability and reconstruction, our method readily integrates with techniques in mechanical interpretability such as Top/BatchTop-K architectures and p-Annealing. Overall, the aligned training substantially improves feature quality and stability of SAE without computational complexity or cost.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、ディープニューラルネットワーク(DNN)の内部動作を解釈し、アクティベーションを高次元の特徴に分解する主要な方法の1つである。 しかし、それらは、少数の機能がアクティベートされず不安定である、重大な欠点を示す。 これらの問題を緩和しようとするSAEのバリエーションにもかかわらず、追加のデータ、再サンプリング、トレーニングが必要である。 本研究では,SAEのパラメータフリー再パラメータ化である‘textbf{aligned training} を提案する。 我々のアプローチは、エンコーダとデコーダの方向の内積によって測定されるSAE特徴量(ここでは「textbf{alignment score}」と呼ぶ)が、全ての近代建築のバイモーダル分布に従うという見過ごされた観察によって動機づけられている。 提案したアライメントトレーニングでは,エンコーダとデコーダ間の幾何的制約を課し,内部積がすべての特徴に対して等しいようにした。 複数のモデル、辞書サイズ、スパーシリティレベルにわたって、アライメントトレーニングは、SAEBenchベンチマークでParetoの改善を示している。 デッド機能の改善,安定性,再構築に加えて,Top/BatchTop-Kアーキテクチャやp-Annealingといった機械的解釈可能性の手法と容易に統合できる。 全体として、アライメントトレーニングは、計算複雑性やコストを伴わずに、SAEの特徴的品質と安定性を大幅に改善する。

関連論文リスト

• StableQAT: Stable Quantization-Aware Training at Ultra-Low Bitwidths [49.94623294999562]
  量子化対応トレーニング(QAT)は、厳格なメモリとレイテンシの制約の下で大規模モデルをデプロイするために不可欠である。 ストレートスルー推定器(STE)やソフト量子化器に基づく一般的な手法は、しばしばミスマッチ、不安定、高い計算オーバーヘッドに悩まされる。 超低ビット環境でのトレーニングを安定化する統合的で効率的なQATフレームワークであるStableQATを提案する。
  論文  参考訳（メタデータ） (2026-01-27T08:00:57Z)
• SSA3D: Text-Conditioned Assisted Self-Supervised Framework for Automatic Dental Abutment Design [52.57094737117145]
  本稿では、再構成ブランチと回帰ブランチを備えたデュアルブランチアーキテクチャを用いた自己教師付き自動支台築造設計フレームワーク(SS$A3$D)を提案する。 回帰分岐は、教師付き学習下での分配パラメータを予測し、個別の事前学習と微調整のプロセスを排除します。 また、他の手法と比較して最先端性能を実現し、自動当接設計の精度と効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-12-12T12:08:05Z)
• Data Whitening Improves Sparse Autoencoder Learning [0.0]
  入力アクティベーションにPCAホワイトニングを適用することで、複数のメトリクスにわたるSAE性能が向上することを示す。 我々はReLUとTop-K SAEを多種多様なモデルアーキテクチャ、幅、空間的に評価する。
  論文  参考訳（メタデータ） (2025-11-17T23:20:58Z)
• Bridging Symmetry and Robustness: On the Role of Equivariance in Enhancing Adversarial Robustness [9.013874391203453]
  敵対的な例では、知覚不能な入力摂動に対する感度を利用して、ディープニューラルネットワークの重大な脆弱性を明らかにしている。 本研究では,群-同変畳み込みを組込み,対向ロバスト性に対するアーキテクチャ的アプローチについて検討する。 これらの層は、モデル行動と入力空間の構造化変換を整合させる対称性の先行を符号化し、よりスムーズな決定境界を促進する。
  論文  参考訳（メタデータ） (2025-10-17T19:26:58Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• Taming Polysemanticity in LLMs: Provable Feature Recovery via Sparse Autoencoders [50.52694757593443]
  既存のSAEトレーニングアルゴリズムは厳密な数学的保証を欠いていることが多く、実用的な制限に悩まされている。 まず,特徴の特定可能性という新たな概念を含む特徴回復問題の統計的枠組みを提案する。 本稿では、ニューラルネットワークのバイアスパラメータを適応的に調整し、適切なアクティベーション間隔を確保する手法である「バイアス適応」に基づく新たなSAEトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-16T20:58:05Z)
• Enhancing Variational Autoencoders with Smooth Robust Latent Encoding [54.74721202894622]
  変分オートエンコーダ(VAE)は拡散に基づく生成モデルをスケールアップする上で重要な役割を果たしている。 Smooth Robust Latent VAEは、世代品質とロバスト性の両方を向上する、新しい対向トレーニングフレームワークである。 実験により、SRL-VAEは、Nightshade攻撃や画像編集攻撃に対して、画像再構成とテキスト誘導画像編集において、生成品質とロバスト性の両方を改善することが示された。
  論文  参考訳（メタデータ） (2025-04-24T03:17:57Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Learning a Low-Rank Feature Representation: Achieving Better Trade-Off between Stability and Plasticity in Continual Learning [20.15493383736196]
  連続学習では、ネットワークは一連のタスクでトレーニングされた場合、安定性と可塑性の間のトレードオフに直面します。 そこで我々は, LRFRと呼ばれる新しいトレーニングアルゴリズムを提案し, 安定性を犠牲にすることなく, 可塑性を増強する。 CIFAR-100とTinyImageNetを連続学習のベンチマークデータセットとして使用することにより、提案手法は一貫して最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-12-14T08:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。