Fugu-MT 論文翻訳(概要): Representation Redistribution in Sparse Autoencoders

論文の概要: Representation Redistribution in Sparse Autoencoders

arxiv url: http://arxiv.org/abs/2610.21240v1
Date: Thu, 15 Oct 2026 04:37:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-16 19:13:16.17978
Title: Representation Redistribution in Sparse Autoencoders
Title（参考訳）: スパースオートエンコーダにおける表現再分配
Abstract要約: スパースオートエンコーダ(SAE)は、言語モデルのアクティベーションをスパース機能に分解する。ある変換されたプロンプトで観察される機能変更は再帰する必要はない。我々は、一貫した方向で再帰する大きな特徴応答を識別する再分配感度スコア(RSS)を導入する。
参考スコア（独自算出の注目度）: 2.225882303328135
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sparse autoencoders (SAEs) decompose language model activations into sparse features, but prompt transformations designed to preserve the underlying request can redistribute activity across them. A feature change observed on one transformed prompt need not recur, and even a recurring change need not affect a downstream computation. We introduce the redistribution sensitivity score (RSS), which identifies large feature responses that recur in a consistent direction, and evaluate the resulting supports on variants excluded from selection. Across 27 pretrained SAEs spanning eight language models, the tested prompt transformations produce a reproducible redistribution profile on these excluded variants. We then separate recurring representation change from signed readout contribution and decision failure. For a fixed linear readout, an exact decomposition shows how response magnitude, readout coefficients, directional alignment, and the clean margin determine downstream consequences. In two frozen safety readouts, combining RSS support erosion with the full clean margin yields recurrent failure AUROCs of 0.935 and 0.958 using median supports of 20 and 19 features, compared with 0.965 and 0.964 using full erosion. RSS therefore provides a way to identify recurring sparse representation changes and quantify their contribution to a downstream readout without equating representation change with failure. Code is available at https://github.com/OpenSAE/Redistribution-Sensitivity-Score
Abstract（参考訳）: スパースオートエンコーダ(SAE)は、言語モデルのアクティベーションをスパース機能に分解するが、基盤となる要求を保存するように設計されたプロンプト変換は、それら間でのアクティビティを再分配することができる。ある変換されたプロンプトで観察される機能変更は再帰する必要はない。我々は,一貫した方向に再帰する大きな特徴応答を識別する再分配感度スコア(RSS)を導入し,選択から除外された変種に対するサポート結果を評価する。 8つの言語モデルにまたがる27の事前訓練されたSAEに対して、テストされたプロンプト変換は、これらの除外された変種に対して再現可能な再配布プロファイルを生成する。次に、繰り返し表現の変化を、署名された読み出し貢献と決定失敗から分離します。固定された線形読み出しの場合、正確な分解は、応答の大きさ、読み出し係数、方向のアライメント、清潔なマージンが下流の結果をどのように決定するかを示す。 2つの凍結した安全読出では、RSSサポートの浸食と完全クリーンマージンの浸食の組み合わせは、20と19の中央値のサポートを使用して、0.935と0.958のAUROCを繰り返し失敗させ、完全な浸食を使用する0.965と0.964と比較した。したがってRSSは、繰り返し発生するスパース表現の変化を識別し、表現変化と失敗を同一にすることなく、下流の読み出しへの貢献を定量化する手段を提供する。コードはhttps://github.com/OpenSAE/redistribution-Sensitivity-Scoreで入手できる。

関連論文リスト

Tracing distinguishability through transformer processing with stochastic LayerNorm [0.0]
表現量を与え、類似性を統計的識別可能性に変換する。我々は、LayerNormへのライトタッチ修正により、事前訓練されたトランスフォーマーでこのアイデアを実現した。これらの結果は、トランス計算における機能接地レンズとしての識別可能性を確立する。
論文参考訳（メタデータ） (2026-08-31T12:57:38Z)
Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。 textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
論文参考訳（メタデータ） (2026-08-06T14:55:42Z)
Decoder-Preserving Sparse Autoencoders: Which Readouts Survive Sparse Compression? [0.0]
我々は,この曖昧さを最適リッジ予測演算子と列車復号器保存SAE間の行列値歪みとして定式化する。制御されたスパース実験は、宣言された事前がタスクサブスペースから保持された組み合わせを保護していることを示している。これらの結果から,どのリフィットされたリニアリードアウトがスパース圧縮に耐えるかは,再構成品質が決定できないことが示唆された。
論文参考訳（メタデータ） (2026-07-19T22:19:17Z)
C$^{2}$R: Cross-sample Consistency Regularization Mitigates Feature Splitting and Absorption in Sparse Autoencoders [56.67585330425431]
スパースオートエンコーダ(SAE)は、アクティベーションをスパースで人間の理解可能な機能に分解することで、大きな言語モデルを解釈するために広く使われている。これらの問題は、サンプル間の一貫性のない潜在的な割り当てに起因している。我々はC$2$Rを導入し、これは方向的に類似した潜伏剤の共活性化を罰する。
論文参考訳（メタデータ） (2026-06-29T17:45:31Z)
Symbolic Regression via Latent Iterative Refinement [8.016092717336457]
単発予測と真の後部とのギャップを埋めるフレームワークであるLatent Equation Embedding (LEE)を提案する。 LEEは、3つのコンポーネントを備えた共有潜在空間Zを学習する。 LEEは、最強の精度指向のベースラインよりも2～10倍単純である。
論文参考訳（メタデータ） (2026-05-26T16:25:05Z)
Deep Variational Inference Symbolic Regression [41.99844472131922]
シンボリック回帰は、前もって関数形式を仮定することなく、明示的で解釈可能な方程式を発見する。 Deep Symbolic Regression (DSR)は、ニューラルネットワークを使用してシンボリック表現を生成する。 DSRの変分ベイズ拡張であるDVISR(Deep Variational Inference Symbolic Regression)を導入する。
論文参考訳（メタデータ） (2026-05-01T20:04:11Z)
In-Context Symbolic Regression for Robustness-Improved Kolmogorov-Arnold Networks [3.7163623763519733]
シンボリック回帰は、ブラックボックス予測器を機械学習で検査および検証可能な分析式に置き換えることを目的としている。 Kolmogorov-Arnold Pursuit Networks (KANs) はこの目的に適している。しかし、実際には記号抽出はボトルネックであり、標準のkan-to-symbolアプローチは各学習エッジ関数に微妙な分離で適合する。
論文参考訳（メタデータ） (2026-03-16T13:21:26Z)
PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
論文参考訳（メタデータ） (2024-09-24T07:57:21Z)
Autoregressive Speech Synthesis without Vector Quantization [135.4776759536272]
We present MELLE, a novel continuous-valued token based language modeling approach for text-to-speech synthesis (TTS)。 MELLEはテキスト条件から直接連続メル-スペクトログラムフレームを自動回帰生成する。 MELLEは、サンプリングベクトル量子化符号の固有の欠陥を回避し、ロバスト性問題を緩和する。
論文参考訳（メタデータ） (2024-07-11T14:36:53Z)
The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
論文参考訳（メタデータ） (2023-09-28T22:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。