論文の概要: WriteSAE: Sparse Autoencoders for Recurrent State

• arxiv url: http://arxiv.org/abs/2605.12770v4
• Date: Tue, 19 May 2026 21:54:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 14:55:44.096957
• Title: WriteSAE: Sparse Autoencoders for Recurrent State
• Title（参考訳）: WriteSAE: リカレントステートのためのスパースオートエンコーダ
• Abstract要約: WriteSAEはモデル自身の書き込みと同じ形状のランク1行列原子を学習する。 数式は書き込み方向を選択し、それを3つの連続キャッシュ位置に書き込む:$3times$モデルの書き込みのノルムは、トークンを最初に100-1000ランクにし、連続の100%で表示し、33.3%から上昇する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce WriteSAE, a sparse autoencoder for the matrix updates written into recurrent language-model state. In Gated DeltaNet, Mamba-2, and RWKV-7, each token writes a matrix-shaped update to a recurrent cache; a residual-stream SAE has vector-shaped atoms and cannot replace that update directly. WriteSAE learns rank-1 matrix atoms with the same shape as the model's own write. This lets us test a direct replacement: at positions where the SAE activates an atom, we remove the model's write, insert the atom scaled by its SAE activation, and continue the forward pass. The atom gives a closer final token distribution than deleting the write on 92.4% of evaluated positions; averaged per atom, the rate is 89.8%. For Gated DeltaNet, a formula using the forget gate, read query, and output embedding predicts the resulting logit change with $R^2 = 0.98$. The same replacement test transfers to Mamba-2-370M at 88.1%. In generation, the formula chooses a write direction; writing it into three consecutive cache positions at $3\times$ the norm of the model's write makes tokens initially ranked 100--1000 by the unmodified model appear in 100% of continuations, up from 33.3%. To our knowledge this is the first cache-level steering intervention reported in a state-space or hybrid recurrent layer.
• Abstract（参考訳）: 本稿では,リカレント言語モデル状態に書き込む行列更新のためのスパースオートエンコーダWriteSAEを紹介する。 Gated DeltaNet, Mamba-2, RWKV-7 では、各トークンは行列状の更新をリカレントキャッシュに書き込む。 WriteSAEはモデル自身の書き込みと同じ形状のランク1行列原子を学習する。 これにより、SAEが原子を活性化する位置で、モデルの書き込みを削除し、SAEアクティベーションによってスケールされた原子を挿入し、フォワードパスを継続する、直接置換をテストすることができます。 原子は92.4%の評価された位置で書き込みを削除するよりも、最終的なトークン分布が近い。 Gated DeltaNet の場合、 forget ゲート、read クエリ、および output 埋め込みを使った式は、$R^2 = 0.98$で結果のロジット変更を予測する。 同じ代替試験は88.1%でMamba-2-370Mに移行した。 モデルの書き込みの標準値$$3\timesで3つの連続キャッシュ位置に書き込むと、修正されていないモデルによってトークンが最初に100-1000位にランクされ、連続の100%で33.3%から上昇する。 私たちの知る限り、これはステートスペースまたはハイブリッドリカレント層で報告された最初のキャッシュレベルのステアリング介入です。

関連論文リスト

• Where Decoder Cosine Similarity Fails for SAE Feature Flow Discovery [0.20415910628419062]
  状態機能と更新機能がどのように相互作用し、下流の残留機能を生成するかを検討する。 その結果,特徴フローのアトラスが表現更新機構の診断に有効であることが示唆された。
  論文  参考訳（メタデータ） (2026-09-11T08:44:13Z)
• DeltaMomentum: A Key-Value based Anisotropic Momentum Update via Delta Rule [6.495737609776765]
  本稿では,モーメント更新規則に方向認識を組み込むDeltaMomentumを提案する。 DeltaMomentumは、キー値構造を爆発させ、標準デルタ則によって運動量バッファを更新する。 補正行列を使わずに入力側曲率を適用することは有効な運動量であり、固定とドリフトの両方の最適条件下でEMAよりも高速に安定化方向をクリアできることを証明した。
  論文  参考訳（メタデータ） (2026-08-19T23:04:12Z)
• Smarter and Cheaper at Once: Byte-Exact KV-Cache Grafting Turns a Frozen Small Model into a Verified-Knowledge Flywheel [0.0]
  凍結した小さな言語モデルを、重みを変えることなく、同時により有能かつ劇的に安価にします。 浮動小数点回転符号化モデルにおいて,自己配置グラフトは数値的に正確な操作点であることを示す。 システムは動作レベルで記述され、エンジンはプロプライエタリであり、報告された全ての数値はコミットされた入力と出力によってバックアップされるので、スコアはそれなしで再チェックできる。
  論文  参考訳（メタデータ） (2026-07-15T23:55:48Z)
• Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning [0.16921396880325776]
  固定ボックスパラメータCの1クラスSfpの支持係数が重みを持つメモリであるSupport Vector Attention(SV-Attention)を導入する。 アクティブセットのパーティションは、リザーブトークンを正確にゼロウェイト、出力ウェイトを与え、インクリメンタルインクリメンタルソルバトークンは、同じCの下で再トレーニングせずに生成した状態を回復する。 また,実文埋め込み上での外科的排除,正確な編集,患者記録の削除,忘れやすい検索メモリも示す。
  論文  参考訳（メタデータ） (2026-07-13T23:13:57Z)
• What Does a Discrete Diffusion Model Learn? [71.03603607324338]
  離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。 まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。 すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
  論文  参考訳（メタデータ） (2026-07-06T17:56:11Z)
• Erase-then-Delta Attention: Decoupling Erase and Write Addresses in Delta-Rule Linear Attention [61.96880087320455]
  Delta-ruleリニアアテンションは、現在の書き込みアドレスに保存されているものを修正することで、リカレントメモリ更新を改善する。 本稿では,Erase-then-Delta Attention (EDA)を提案する。
  論文  参考訳（メタデータ） (2026-06-25T03:12:19Z)
• Scheduling Thoughts: Learning the Order of Thought in Diffusion Language Models [51.21958617138889]
  自己認識スケジューリングは、軽量な順序ポリシーを学び、任意の順序と半自己回帰デコーディングの両方にシームレスに適用する。 1B MDMのスドクでは、SASはパズルの精度を82.0%(ベストスケジュール)から91.8%に改善し、第2ステージの微調整で97.5%に達する。 LLaDA-8Bの数学的推論では、ASSはGSM8Kのpass@1を64%から76%に改善し、MBPPは39.5%から41%に改善した。
  論文  参考訳（メタデータ） (2026-06-22T16:32:25Z)
• Output Vector Editing for Memorization Mitigation in Large Language Models [68.30351930772788]
  大規模な言語モデルは、トレーニングデータからシーケンスを記憶し、再現し、プライバシ、著作権、セキュリティリスクを生み出す。 既存のニューロンレベルの緩和方法は、ニューロンの活性化をゼロにすることで編集を等しくするが、活性化はニューロンが関与するかどうかのみを制御する。 記憶継続に責任を負うニューロンの小さな集合を探索する制約最適化編集である出力ベクトル編集を提案する。
  論文  参考訳（メタデータ） (2026-06-17T07:29:18Z)
• Models Take Notes at Prefill: KV Cache Can Be Editable and Composable [0.3951796994513004]
  プリフィックスキャッシュは、正確に共有されたプレフィックスでのみプリフィルを再利用するので、1つの変更フィールドはダウンストリームキャッシュ全体を無効にする。 しかし、フィールド自身のキー/値ベクトルを上書きし、残りを再利用すると、モデルは古い値に作用する。 4つのモデルファミリに因果的に確立された理由は、プレフィル時にすでにフィールド条件の結論を下流のノートに書いていたからである。 健全なエラトゥムはメモを修正し、チェーン・オブ・シントでフィールドを編集するだけで決定を回復する(1.00 at 8B, 1% 計算)が、CoTがなければ無視される。
  論文  参考訳（メタデータ） (2026-06-14T15:31:23Z)
• Latent Phase-Shift Rollback: Inference-Time Error Correction via Residual Stream Monitoring and KV-Cache Steering [4.032680910442999]
  大規模な言語モデルは、世代中頃の保存不可能な推論エラーを犯す。 我々は、$textbfLatent Phase-Shift Rollback$ (LPSR)を紹介する。 各生成段階において、臨界層リクリットで残留流をモニタリングし、コサイン相似性$+$エントロピー二重ゲートを介して急激な方向逆転(位相シフト)を検出する。 微調整、勾配計算、追加のフォワードパスは不要である。
  論文  参考訳（メタデータ） (2026-04-20T17:53:33Z)
• Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing [2.6382975801439836]
  LLMは、入力中にほとんどのトークンが冗長に見える場合でも、全出力を自動回帰的に再生することでテキストとコードを編集する。 Copy-as-Decodeは、2プリミティブ文法上の構造化復号化として生成を再キャストする復号化機構である。
  論文  参考訳（メタデータ） (2026-04-20T12:29:53Z)
• Breaking the KV Cache Bottleneck: Fan Duality Model Achieves O(1) Decode Memory with Superior Associative Recall [0.0]
  Fan Duality Modelは、シーケンスモデリングにおけるメモリ効率と連想リコールの間の緊張を解消する。 FDMはシーケンス処理を、長距離パターンを隠蔽状態に圧縮する波動成分と、特定のトークンを取得する粒子成分の2つのコンポーネントに分割する。 本稿では,再帰的なスキャンを凍結し,キャッシュを埋め込みと共に最適化する2段階のトレーニング戦略であるFreeze-Scanを提案する。
  論文  参考訳（メタデータ） (2026-04-09T02:00:30Z)
• SplashNet: Split-and-Share Encoders for Accurate and Efficient Typing with Surface Electromyography [3.3640830721676003]
  手首にある表面筋電図(sEMG)は、キーボードのない自然なテキスト入力を可能にする。 最先端の Emg2qwerty ベースラインは、まだ見知らぬユーザーのゼロショット設定で511.8%の文字を認識していない。 これらの誤りの多くを、ユーザ間信号統計のミスマッチに追従する。
  論文  参考訳（メタデータ） (2025-06-14T05:38:29Z)
• Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
  underlinetextbfPositional textbfIntegrity textbfEncoding (PIE) PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。 その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
  論文  参考訳（メタデータ） (2024-07-03T14:34:03Z)
• Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass [72.07642648108849]
  Superposed Decodingは、1つの自己回帰推論パスのコストで$k$のドラフトを生成する新しい復号アルゴリズムである。 Superposed Decodingは、他のデコード戦略と組み合わせることで、推論時間計算のスケーリング時に普遍的なカバレッジが向上する。
  論文  参考訳（メタデータ） (2024-05-28T17:40:48Z)
• Efficient Spatially Sparse Inference for Conditional GANs and Diffusion Models [92.24727170517335]
  既存の深部生成モデルは、未編集領域を含む出力全体をスクラッチから再合成する傾向がある。 本稿では,編集領域の計算を選択的に行う汎用手法である空間スパース推論(SSI)を提案する。 本稿では,Sparse Incremental Generative Engine (SIGE) を提案する。
  論文  参考訳（メタデータ） (2022-11-03T17:59:55Z)
• Thutmose Tagger: Single-pass neural model for Inverse Text Normalization [76.87664008338317]
  逆テキスト正規化(ITN)は自動音声認識において重要な後処理ステップである。 本稿では,ITN例の粒度アライメントに基づくデータセット作成手法を提案する。 タグと入力語との1対1対応により、モデルの予測の解釈性が向上する。
  論文  参考訳（メタデータ） (2022-07-29T20:39:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。