論文の概要: Decoder-Preserving Sparse Autoencoders: Which Readouts Survive Sparse Compression?

• arxiv url: http://arxiv.org/abs/2607.17425v2
• Date: Tue, 21 Jul 2026 01:20:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 14:48:36.40437
• Title: Decoder-Preserving Sparse Autoencoders: Which Readouts Survive Sparse Compression?
• Title（参考訳）: デコーダ保存スパースオートエンコーダ:サーブ・スパース圧縮の読み出しは?
• Abstract要約: 我々は,この曖昧さを最適リッジ予測演算子と列車復号器保存SAE間の行列値歪みとして定式化する。 制御されたスパース実験は、宣言された事前がタスクサブスペースから保持された組み合わせを保護していることを示している。 これらの結果から,どのリフィットされたリニアリードアウトがスパース圧縮に耐えるかは,再構成品質が決定できないことが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse autoencoders (SAEs) compress model activations into sparse codes, but equal reconstruction error and sparsity can preserve different linearly decodable signals. We formalize this ambiguity as a matrix-valued distortion between optimal ridge-prediction operators and train decoder-preserving SAEs by combining this distortion with reconstruction loss. In a rank relaxation, an isotropic task prior saturates per-mode omission costs without changing PCA's ordering, whereas a structured prior can change which modes are retained. A controlled sparse experiment shows that a declared prior protects held-out combinations from its task subspace. On GPT-2 small block 8, DPSAE reduces held-out decoder distortion by 10.6--11.4% across three paired runs while matching reconstruction NMSE. The same checkpoints pass an average natural-text output-KL noninferiority test, but one matched Pythia pair shows no improvement in probes restricted to a few sparse features. These results show that reconstruction quality does not determine which refitted linear readouts survive sparse compression, and that readout preservation is distinct from learning cleaner benchmark concepts or preserving every frozen-model behavior.
• Abstract（参考訳）: スパースオートエンコーダ (SAEs) はモデルアクティベーションをスパースコードに圧縮するが、リコンストラクションエラーとスパシティは異なる線形デオード可能な信号を保存することができる。 我々はこの曖昧さを,この歪みと復元損失を組み合わせることで,最適リッジ予測演算子と列車復号器保存SAEとの行列値歪みとして定式化する。 ランク緩和では、PCAの順序を変更することなくモードごとの省略コストを飽和させるのに対して、構造化前のモードはどのモードを保持するかを変えることができる。 制御されたスパース実験は、宣言された事前がタスクサブスペースから保持された組み合わせを保護していることを示している。 GPT-2小ブロック8では、DPSAEは3対のランニングでホールドアウトデコーダの歪みを10.6-11.4%削減し、再構成NMSEと一致する。 同じチェックポイントは、平均的な自然文出力-KLの不等式検査をパスするが、ピシア対に一致する1つのペアは、いくつかのスパースな特徴に制限されたプローブの改善を示さない。 以上の結果から,リコンストラクションの品質は,どのリフィットされたリニア・リードアウトがスパース圧縮に耐えるかを判断せず,リードアウト保存は,よりクリーンなベンチマーク概念の学習や凍結モデル動作の保存とは別物であることが示唆された。

関連論文リスト

• A Dominant Diffuse Phase in the Sparse Autoencoder Phase Diagram [0.0]
  スパースオートエンコーダ(SAE)は、ニューラルネットワークのアクティベーションから解釈可能な特徴を回復するために、ますます使われるようになっている。 MAIS-O43開放問題では、真の合成辞書の回復が特徴付けの方法を与えるときに特徴付ける制御実験が提案されている。
  論文  参考訳（メタデータ） (2026-09-09T15:13:42Z)
• Data Diversity, Not Frequency Invariance: A Controlled and Self-Audited Study of Compression-Robust Deepfake Detection [0.26856688022781555]
  周波数特徴と圧縮不変表現学習は、ビデオ圧縮に耐えるディープフェイク検出の鍵であると広く考えられている。 本稿では, CAFRL - block-DCT および FFT-phase ストリーム, 圧縮レベル条件付き帯域アテンション, 逆(逆)圧縮でこれを検証する。 キャパシティと拡張整合制御を備えた事前登録されたプロトコルの下では、マルチ品質データに対するプレーンなEfficientNet-B0が、各圧縮レベルで指定されたCAFRLを上回った。
  論文  参考訳（メタデータ） (2026-08-26T12:05:10Z)
• No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
  SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-28T15:53:34Z)
• Symbolic Regression via Latent Iterative Refinement [8.016092717336457]
  単発予測と真の後部とのギャップを埋めるフレームワークであるLatent Equation Embedding (LEE)を提案する。 LEEは、3つのコンポーネントを備えた共有潜在空間Zを学習する。 LEEは、最強の精度指向のベースラインよりも2～10倍単純である。
  論文  参考訳（メタデータ） (2026-05-26T16:25:05Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Collapse-Free Prototype Readout Layer for Transformer Encoders [0.0]
  DDCL-Attentionは、トランスフォーマーエンコーダ用のプロトタイプベースの読み出し層である。 列長の線形複雑度でコンパクトなトークン要約を生成する。 最終読み出し層、VQ-VAEの拡張可能なコードブック、階層型ドキュメント圧縮器である。
  論文  参考訳（メタデータ） (2026-04-04T20:23:21Z)
• GRAIL: Post-hoc Compensation by Linear Reconstruction for Compressed Networks [9.487330689135595]
  GRAILはモデル圧縮後に適用される単純なゼロファインタニングステップである。 小さいキャリブレーションセットを使用して各ブロックの入出力動作を復元する。 データフリーでデータアウェアなプルーニングや折り畳みベースラインよりも正確さや難易度が一貫して向上する。
  論文  参考訳（メタデータ） (2026-02-27T08:37:55Z)
• The Lossy Horizon: Error-Bounded Predictive Coding for Lossy Text Compression (Episode I) [6.453417258264177]
  本稿では,誤り境界予測符号化(EPC, Error-Bounded Predictive Coding)を提案する。 オリジナルのトークンのサブセットを格納する代わりに、EPCはモデルがマスク付きコンテンツを予測し、モデルのトップ予測が正しくない場合のみ、最小限のランクベースの修正を格納することを可能にする。 EPCが予測的マスキングを一貫して支配し、モデル固有の知識をより効率的に活用することにより、より優れた忠実度を著しく低いビットレートで提供することを示した。
  論文  参考訳（メタデータ） (2025-10-25T08:18:31Z)
• UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective [85.08718140718707]
  UNCompは不確実性を認識したフレームワークで、適応圧縮に使用できる空間パターンを明らかにする。 スパーシティパターンを詳細に分析する不確実性に注目して、UNCompはKVキャッシュサイズを4.74%に削減し、6%のプリフィルスピードアップを実現し、スループットを6.4倍改善した。
  論文  参考訳（メタデータ） (2024-10-04T02:32:36Z)
• Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
  我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-03-31T15:44:13Z)
• Reducing Predictive Feature Suppression in Resource-Constrained Contrastive Image-Caption Retrieval [65.33981533521207]
  我々は、リソース制約のあるICR手法における予測的特徴抑圧を減らすアプローチを提案する:潜在目標デコーディング(LTD) LTDは、汎用文エンコーダの潜時空間で入力キャプションを再構成し、画像及びキャプションエンコーダが予測的特徴を抑制するのを防止する。 実験の結果,入力空間における入力キャプションの再構成とは異なり,LTDはリコール@k,r精度,nDCGスコアを高くすることで,予測的特徴抑制を低減できることがわかった。
  論文  参考訳（メタデータ） (2022-04-28T09:55:28Z)
• Composed Fine-Tuning: Freezing Pre-Trained Denoising Autoencoders for Improved Generalization [93.95299500688286]
  本稿では,出力の妥当性制約を考慮した構造化出力の予測問題に焦点をあてる。 本稿では,事前学習したデノイザを組み込んだ予測器を微調整するファインチューニングを提案する。 2層ReLUネットワークの場合、構成した微調整が予測器の複雑さを著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-06-29T17:14:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。