論文の概要: ReSAE: Residualized Sparse Autoencoders for Multi-Layer Transformer Interventions

• arxiv url: http://arxiv.org/abs/2605.27819v1
• Date: Wed, 27 May 2026 01:27:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.668583
• Title: ReSAE: Residualized Sparse Autoencoders for Multi-Layer Transformer Interventions
• Title（参考訳）: ReSAE:マルチ層変圧器インターベンション用残像スパースオートエンコーダ
• Authors: Prathyush Poduval, Calvin Yeung, Neel Desai, Mohsen Imani,
• Abstract要約: 我々はResidualized Sparse Autoencoders (ReSAE)を紹介する。 ReSAEは、選択した層間のアフィンマップに適合し、完全なアクティベーションではなく、説明できない残基上に各後層SAEを訓練する。 Pythia-1.4BとGemma-2-9Bでは、残留化はデコーダの冗長性を減少させ、スパースプローブと標的摂動を改善する。
• 参考スコア（独自算出の注目度）: 10.217703037524824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders are usually trained one layer at a time, even though transformer residual stream activations are strongly coupled across depth. This creates a practical problem for multi-layer interventions: different layerwise dictionaries can spend capacity representing the same carried-forward information, and replacing several layers at once can produce interactions that are not predicted by single-layer behavior. We introduce Residualized Sparse Autoencoders (ReSAEs), which fit an affine map between selected layers and train each later-layer SAE on the unexplained residual rather than on the full activation. Reconstructions are mapped back into the original activation space through the fitted affine chain, so ReSAEs can be evaluated with the same intervention protocols as ordinary SAEs. On Pythia-1.4B and Gemma-2-9B, residualization reduces decoder redundancy and improves sparse probing and targeted perturbation in most tested settings. Despite reconstructing less of the raw activation variance, ReSAEs recover more transformer cross entropy under multi-layer replacement. This gain is clearest under teacher-forcing and at sufficient sparsity online, indicating that ReSAEs preserve the components of the activation most relevant to the model's downstream computation. These results suggest that removing linearly predictable cross-layer structure is a useful default for multi-layer SAE interventions.
• Abstract（参考訳）: スパースオートエンコーダは通常、トランスフォーマー残ストリームの活性化が深さにわたって強く結合されているにもかかわらず、一度に1つの層を訓練する。 これは、多層的介入の実践的な問題を生み出します。異なるレイヤの辞書は、同じ転送フォワード情報を表すキャパシティを使い、複数のレイヤを一度に置き換えることで、単層的な振る舞いによって予測されないインタラクションを生み出すことができます。 Residualized Sparse Autoencoders (ReSAEs) を導入し、選択した層間のアフィンマップを適合させ、各層をフルアクティベーションではなく、説明できない残基上で訓練する。 再構成はアフィン鎖によって元の活性化空間にマッピングされるので、ReSAEは通常のSAEと同じ干渉プロトコルで評価することができる。 Pythia-1.4BとGemma-2-9Bでは、残留化はデコーダの冗長性を低減し、ほとんどのテスト環境でスパースプローブとターゲット摂動を改善する。 生の活性化分散の再構成は少ないが、ReSAEは多層置換の下でよりトランスフォーマーのクロスエントロピーを回復する。 この利得は教師の強制の下では最も明確であり、オンライン上では十分な間隔で、ReSAEがモデルの下流計算に最も関係のある活性化のコンポーネントを保存することを示している。 これらの結果は, 線形予測可能なクロス層構造を除去することが多層SAE介入のデフォルトとなることを示唆している。

関連論文リスト

• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Replacement Learning: Training Neural Networks with Fewer Parameters [15.09968642484538]
  Replacement Learning (RepL) は、選択したブロックを置き換えることで、完全な冗長性を減らす訓練時間パラダイムである。 RepLは、不要なフルレイヤを避けながら、局所的なコンテキスト連続性を維持する。 RepLはトレーニング可能なパラメータ、GPUメモリ使用量、トレーニング時間を削減し、標準のエンドツーエンドトレーニングを適合または超過することを示す。
  論文  参考訳（メタデータ） (2026-05-19T08:34:31Z)
• scHelix: Asymmetric Dual-Stream Integration via Explicit Gene-Level Disentanglement [84.88065404629079]
  scHelixは、機能がどのように処理されるかを根本的に変更するデータセット適応フレームワークである。 scHelixは、停止段階のグラフキャッシュを備えたデュアルストリームスパース拡散エンコーダを使用する。 scHelixは最先端のメソッドより優れています。
  論文  参考訳（メタデータ） (2026-05-18T15:55:13Z)
• Attribution-Guided Distillation of Matryoshka Sparse Autoencoders [0.0]
  DMSAE(Distilled Matryoshka Sencoders)は,一貫した有用な機能を持つコンパクトコアを蒸留し,新しいSAEを訓練するために再利用する訓練パイプラインである。 DMSAEは、共有コアでMatryoshka SAEを訓練し、グラデーションXアクティベーションを使用して、最もネストされた再構築において、各特徴の次トーケンの損失に対する寄与を計測し、アトリビューションの一定の割合を説明する最小のサブセットのみを保持する。 Gemma-2B層12残流活性化について : 7サイクルの蒸留(500Mトークン,65k幅)
  論文  参考訳（メタデータ） (2025-12-31T17:12:55Z)
• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• Residual Stream Analysis with Multi-Layer SAEs [21.142967037533175]
  各トランス層からの残ストリーム活性化ベクトルをトレーニングした単一SAEであるMLSAE(Multi-layer SAE)を導入する。 個々のラテントが与えられたトークンやプロンプトの単一層でアクティブになることが多いが、個々のラテントがアクティブである層は異なるトークンやプロンプトで異なる場合がある。 この結果は,トランスを流れるとき,表現がどのように変化するかを理解するための新しいアプローチを示す。
  論文  参考訳（メタデータ） (2024-09-06T11:01:55Z)
• Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
  変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。 本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
  論文  参考訳（メタデータ） (2022-10-22T10:25:35Z)
• Deriving Differential Target Propagation from Iterating Approximate Inverses [91.3755431537592]
  本稿では,各層が学習した逆数に依存するターゲット伝搬の特定の形態が,ガウス-ニュートン勾配に基づく近似最適化に対応する更新規則を導出することを示す。 そこで我々は,各層における局所的自動エンコーダに基づく反復計算について検討し,より正確な目標伝搬のインバージョンを実現する。
  論文  参考訳（メタデータ） (2020-07-29T22:34:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。