論文の概要: WriteSAE: Sparse Autoencoders for Recurrent State

• arxiv url: http://arxiv.org/abs/2605.12770v4
• Date: Tue, 19 May 2026 21:54:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 14:55:44.096957
• Title: WriteSAE: Sparse Autoencoders for Recurrent State
• Title（参考訳）: WriteSAE: リカレントステートのためのスパースオートエンコーダ
• Authors: Jack Young,
• Abstract要約: WriteSAEはモデル自身の書き込みと同じ形状のランク1行列原子を学習する。 数式は書き込み方向を選択し、それを3つの連続キャッシュ位置に書き込む:$3times$モデルの書き込みのノルムは、トークンを最初に100-1000ランクにし、連続の100%で表示し、33.3%から上昇する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce WriteSAE, a sparse autoencoder for the matrix updates written into recurrent language-model state. In Gated DeltaNet, Mamba-2, and RWKV-7, each token writes a matrix-shaped update to a recurrent cache; a residual-stream SAE has vector-shaped atoms and cannot replace that update directly. WriteSAE learns rank-1 matrix atoms with the same shape as the model's own write. This lets us test a direct replacement: at positions where the SAE activates an atom, we remove the model's write, insert the atom scaled by its SAE activation, and continue the forward pass. The atom gives a closer final token distribution than deleting the write on 92.4% of evaluated positions; averaged per atom, the rate is 89.8%. For Gated DeltaNet, a formula using the forget gate, read query, and output embedding predicts the resulting logit change with $R^2 = 0.98$. The same replacement test transfers to Mamba-2-370M at 88.1%. In generation, the formula chooses a write direction; writing it into three consecutive cache positions at $3\times$ the norm of the model's write makes tokens initially ranked 100--1000 by the unmodified model appear in 100% of continuations, up from 33.3%. To our knowledge this is the first cache-level steering intervention reported in a state-space or hybrid recurrent layer.
• Abstract（参考訳）: 本稿では,リカレント言語モデル状態に書き込む行列更新のためのスパースオートエンコーダWriteSAEを紹介する。 Gated DeltaNet, Mamba-2, RWKV-7 では、各トークンは行列状の更新をリカレントキャッシュに書き込む。 WriteSAEはモデル自身の書き込みと同じ形状のランク1行列原子を学習する。 これにより、SAEが原子を活性化する位置で、モデルの書き込みを削除し、SAEアクティベーションによってスケールされた原子を挿入し、フォワードパスを継続する、直接置換をテストすることができます。 原子は92.4%の評価された位置で書き込みを削除するよりも、最終的なトークン分布が近い。 Gated DeltaNet の場合、 forget ゲート、read クエリ、および output 埋め込みを使った式は、$R^2 = 0.98$で結果のロジット変更を予測する。 同じ代替試験は88.1%でMamba-2-370Mに移行した。 モデルの書き込みの標準値$$3\timesで3つの連続キャッシュ位置に書き込むと、修正されていないモデルによってトークンが最初に100-1000位にランクされ、連続の100%で33.3%から上昇する。 私たちの知る限り、これはステートスペースまたはハイブリッドリカレント層で報告された最初のキャッシュレベルのステアリング介入です。

関連論文リスト

• Latent Phase-Shift Rollback: Inference-Time Error Correction via Residual Stream Monitoring and KV-Cache Steering [4.032680910442999]
  大規模な言語モデルは、世代中頃の保存不可能な推論エラーを犯す。 我々は、$textbfLatent Phase-Shift Rollback$ (LPSR)を紹介する。 各生成段階において、臨界層リクリットで残留流をモニタリングし、コサイン相似性$+$エントロピー二重ゲートを介して急激な方向逆転(位相シフト)を検出する。 微調整、勾配計算、追加のフォワードパスは不要である。
  論文  参考訳（メタデータ） (2026-04-20T17:53:33Z)
• Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing [2.6382975801439836]
  LLMは、入力中にほとんどのトークンが冗長に見える場合でも、全出力を自動回帰的に再生することでテキストとコードを編集する。 Copy-as-Decodeは、2プリミティブ文法上の構造化復号化として生成を再キャストする復号化機構である。
  論文  参考訳（メタデータ） (2026-04-20T12:29:53Z)
• Breaking the KV Cache Bottleneck: Fan Duality Model Achieves O(1) Decode Memory with Superior Associative Recall [0.0]
  Fan Duality Modelは、シーケンスモデリングにおけるメモリ効率と連想リコールの間の緊張を解消する。 FDMはシーケンス処理を、長距離パターンを隠蔽状態に圧縮する波動成分と、特定のトークンを取得する粒子成分の2つのコンポーネントに分割する。 本稿では,再帰的なスキャンを凍結し,キャッシュを埋め込みと共に最適化する2段階のトレーニング戦略であるFreeze-Scanを提案する。
  論文  参考訳（メタデータ） (2026-04-09T02:00:30Z)
• SplashNet: Split-and-Share Encoders for Accurate and Efficient Typing with Surface Electromyography [3.3640830721676003]
  手首にある表面筋電図(sEMG)は、キーボードのない自然なテキスト入力を可能にする。 最先端の Emg2qwerty ベースラインは、まだ見知らぬユーザーのゼロショット設定で511.8%の文字を認識していない。 これらの誤りの多くを、ユーザ間信号統計のミスマッチに追従する。
  論文  参考訳（メタデータ） (2025-06-14T05:38:29Z)
• Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass [72.07642648108849]
  Superposed Decodingは、1つの自己回帰推論パスのコストで$k$のドラフトを生成する新しい復号アルゴリズムである。 Superposed Decodingは、他のデコード戦略と組み合わせることで、推論時間計算のスケーリング時に普遍的なカバレッジが向上する。
  論文  参考訳（メタデータ） (2024-05-28T17:40:48Z)
• Efficient Spatially Sparse Inference for Conditional GANs and Diffusion Models [92.24727170517335]
  既存の深部生成モデルは、未編集領域を含む出力全体をスクラッチから再合成する傾向がある。 本稿では,編集領域の計算を選択的に行う汎用手法である空間スパース推論(SSI)を提案する。 本稿では,Sparse Incremental Generative Engine (SIGE) を提案する。
  論文  参考訳（メタデータ） (2022-11-03T17:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。