論文の概要: WriteSAE: Sparse Autoencoders for Recurrent State

• arxiv url: http://arxiv.org/abs/2605.12770v2
• Date: Thu, 14 May 2026 03:27:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 15:19:49.904432
• Title: WriteSAE: Sparse Autoencoders for Recurrent State
• Title（参考訳）: WriteSAE: リカレントステートのためのスパースオートエンコーダ
• Abstract要約: 本稿では,ステートスペースおよびリカレント言語モデルの行列キャッシュ書き込みを分解・編集する最初のスパースオートエンコーダWriteSAEを紹介する。 既存のSAEは残余ストリームを読み取るが、Gated DeltaNet、Mamba-2、RWKV-7はランク1更新を通じて$d_kのd_v$キャッシュに書き込む。 WriteSAEは、各デコーダ原子をネイティブ書き込み形式に分解し、トーケンごとのロジットシフトのクローズドフォームを公開し、マッチしたフロベニウス標準の下での列車は一度に1つのキャッシュスロットを交換する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce WriteSAE, the first sparse autoencoder that decomposes and edits the matrix cache write of state-space and hybrid recurrent language models, where residual SAEs cannot reach. Existing SAEs read residual streams, but Gated DeltaNet, Mamba-2, and RWKV-7 write to a $d_k \times d_v$ cache through rank-1 updates $k_t v_t^\top$ that no vector atom can replace. WriteSAE factors each decoder atom into the native write shape, exposes a closed form for the per-token logit shift, and trains under matched Frobenius norm so atoms swap one cache slot at a time. Atom substitution beats matched-norm ablation on 92.4% of $n=4{,}851$ firings at Qwen3.5-0.8B L9 H4, the 87-atom population test holds at 89.8%, the closed form predicts measured effects at $R^2=0.98$, and Mamba-2-370M substitutes at 88.1% over 2,500 firings. Sustained three-position installs at $3\times$ lift midrank target-in-continuation from 33.3% to 100% under greedy decoding, the first behavioral install at the matrix-recurrent write site.
• Abstract（参考訳）: 本研究では,残余のSAEが到達できない状態空間およびハイブリッドリカレント言語モデルの行列キャッシュ書き込みを分解・編集する最初のスパースオートエンコーダWriteSAEを紹介する。 既存のSAEは残留ストリームを読み込むが、Gated DeltaNet、Mamba-2、RWKV-7はランク1の更新で$d_k \times d_v$キャッシュに書き込む。 WriteSAEは、各デコーダ原子をネイティブ書き込み形式に分解し、トーケンごとのロジットシフトのクローズドフォームを公開し、マッチしたフロベニウス標準の下での列車は一度に1つのキャッシュスロットを交換する。 原子置換反応は、Qwen3.5-0.8B L9 H4 での 92.4% の$n=4{,}851$ の焼成と一致し、87原子の個体数は89.8%であり、閉じた形は、R^2=0.98$で測定された効果を予測し、Mamba-2-370M は 2,500 回の焼成で 88.1% である。 継続された3つの配置のインストールは、3\times$ lift midrank target-in-continuation (33.3%から100%まで継続)であり、マトリクスのリカレント書き込みサイトにおける最初の動作的インストールである。

関連論文リスト

• Where Decoder Cosine Similarity Fails for SAE Feature Flow Discovery [0.20415910628419062]
  状態機能と更新機能がどのように相互作用し、下流の残留機能を生成するかを検討する。 その結果,特徴フローのアトラスが表現更新機構の診断に有効であることが示唆された。
  論文  参考訳（メタデータ） (2026-09-11T08:44:13Z)
• DeltaMomentum: A Key-Value based Anisotropic Momentum Update via Delta Rule [6.495737609776765]
  本稿では,モーメント更新規則に方向認識を組み込むDeltaMomentumを提案する。 DeltaMomentumは、キー値構造を爆発させ、標準デルタ則によって運動量バッファを更新する。 補正行列を使わずに入力側曲率を適用することは有効な運動量であり、固定とドリフトの両方の最適条件下でEMAよりも高速に安定化方向をクリアできることを証明した。
  論文  参考訳（メタデータ） (2026-08-19T23:04:12Z)
• Smarter and Cheaper at Once: Byte-Exact KV-Cache Grafting Turns a Frozen Small Model into a Verified-Knowledge Flywheel [0.0]
  凍結した小さな言語モデルを、重みを変えることなく、同時により有能かつ劇的に安価にします。 浮動小数点回転符号化モデルにおいて,自己配置グラフトは数値的に正確な操作点であることを示す。 システムは動作レベルで記述され、エンジンはプロプライエタリであり、報告された全ての数値はコミットされた入力と出力によってバックアップされるので、スコアはそれなしで再チェックできる。
  論文  参考訳（メタデータ） (2026-07-15T23:55:48Z)
• Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning [0.16921396880325776]
  固定ボックスパラメータCの1クラスSfpの支持係数が重みを持つメモリであるSupport Vector Attention(SV-Attention)を導入する。 アクティブセットのパーティションは、リザーブトークンを正確にゼロウェイト、出力ウェイトを与え、インクリメンタルインクリメンタルソルバトークンは、同じCの下で再トレーニングせずに生成した状態を回復する。 また,実文埋め込み上での外科的排除,正確な編集,患者記録の削除,忘れやすい検索メモリも示す。
  論文  参考訳（メタデータ） (2026-07-13T23:13:57Z)
• What Does a Discrete Diffusion Model Learn? [71.03603607324338]
  離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。 まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。 すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
  論文  参考訳（メタデータ） (2026-07-06T17:56:11Z)
• Erase-then-Delta Attention: Decoupling Erase and Write Addresses in Delta-Rule Linear Attention [61.96880087320455]
  Delta-ruleリニアアテンションは、現在の書き込みアドレスに保存されているものを修正することで、リカレントメモリ更新を改善する。 本稿では,Erase-then-Delta Attention (EDA)を提案する。
  論文  参考訳（メタデータ） (2026-06-25T03:12:19Z)
• Scheduling Thoughts: Learning the Order of Thought in Diffusion Language Models [51.21958617138889]
  自己認識スケジューリングは、軽量な順序ポリシーを学び、任意の順序と半自己回帰デコーディングの両方にシームレスに適用する。 1B MDMのスドクでは、SASはパズルの精度を82.0%(ベストスケジュール)から91.8%に改善し、第2ステージの微調整で97.5%に達する。 LLaDA-8Bの数学的推論では、ASSはGSM8Kのpass@1を64%から76%に改善し、MBPPは39.5%から41%に改善した。
  論文  参考訳（メタデータ） (2026-06-22T16:32:25Z)
• Output Vector Editing for Memorization Mitigation in Large Language Models [68.30351930772788]
  大規模な言語モデルは、トレーニングデータからシーケンスを記憶し、再現し、プライバシ、著作権、セキュリティリスクを生み出す。 既存のニューロンレベルの緩和方法は、ニューロンの活性化をゼロにすることで編集を等しくするが、活性化はニューロンが関与するかどうかのみを制御する。 記憶継続に責任を負うニューロンの小さな集合を探索する制約最適化編集である出力ベクトル編集を提案する。
  論文  参考訳（メタデータ） (2026-06-17T07:29:18Z)
• Models Take Notes at Prefill: KV Cache Can Be Editable and Composable [0.3951796994513004]
  プリフィックスキャッシュは、正確に共有されたプレフィックスでのみプリフィルを再利用するので、1つの変更フィールドはダウンストリームキャッシュ全体を無効にする。 しかし、フィールド自身のキー/値ベクトルを上書きし、残りを再利用すると、モデルは古い値に作用する。 4つのモデルファミリに因果的に確立された理由は、プレフィル時にすでにフィールド条件の結論を下流のノートに書いていたからである。 健全なエラトゥムはメモを修正し、チェーン・オブ・シントでフィールドを編集するだけで決定を回復する(1.00 at 8B, 1% 計算)が、CoTがなければ無視される。
  論文  参考訳（メタデータ） (2026-06-14T15:31:23Z)
• Latent Phase-Shift Rollback: Inference-Time Error Correction via Residual Stream Monitoring and KV-Cache Steering [4.032680910442999]
  大規模な言語モデルは、世代中頃の保存不可能な推論エラーを犯す。 我々は、$textbfLatent Phase-Shift Rollback$ (LPSR)を紹介する。 各生成段階において、臨界層リクリットで残留流をモニタリングし、コサイン相似性$+$エントロピー二重ゲートを介して急激な方向逆転(位相シフト)を検出する。 微調整、勾配計算、追加のフォワードパスは不要である。
  論文  参考訳（メタデータ） (2026-04-20T17:53:33Z)
• Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing [2.6382975801439836]
  LLMは、入力中にほとんどのトークンが冗長に見える場合でも、全出力を自動回帰的に再生することでテキストとコードを編集する。 Copy-as-Decodeは、2プリミティブ文法上の構造化復号化として生成を再キャストする復号化機構である。
  論文  参考訳（メタデータ） (2026-04-20T12:29:53Z)
• Breaking the KV Cache Bottleneck: Fan Duality Model Achieves O(1) Decode Memory with Superior Associative Recall [0.0]
  Fan Duality Modelは、シーケンスモデリングにおけるメモリ効率と連想リコールの間の緊張を解消する。 FDMはシーケンス処理を、長距離パターンを隠蔽状態に圧縮する波動成分と、特定のトークンを取得する粒子成分の2つのコンポーネントに分割する。 本稿では,再帰的なスキャンを凍結し,キャッシュを埋め込みと共に最適化する2段階のトレーニング戦略であるFreeze-Scanを提案する。
  論文  参考訳（メタデータ） (2026-04-09T02:00:30Z)
• SplashNet: Split-and-Share Encoders for Accurate and Efficient Typing with Surface Electromyography [3.3640830721676003]
  手首にある表面筋電図(sEMG)は、キーボードのない自然なテキスト入力を可能にする。 最先端の Emg2qwerty ベースラインは、まだ見知らぬユーザーのゼロショット設定で511.8%の文字を認識していない。 これらの誤りの多くを、ユーザ間信号統計のミスマッチに追従する。
  論文  参考訳（メタデータ） (2025-06-14T05:38:29Z)
• Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
  underlinetextbfPositional textbfIntegrity textbfEncoding (PIE) PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。 その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
  論文  参考訳（メタデータ） (2024-07-03T14:34:03Z)
• Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass [72.07642648108849]
  Superposed Decodingは、1つの自己回帰推論パスのコストで$k$のドラフトを生成する新しい復号アルゴリズムである。 Superposed Decodingは、他のデコード戦略と組み合わせることで、推論時間計算のスケーリング時に普遍的なカバレッジが向上する。
  論文  参考訳（メタデータ） (2024-05-28T17:40:48Z)
• Efficient Spatially Sparse Inference for Conditional GANs and Diffusion Models [92.24727170517335]
  既存の深部生成モデルは、未編集領域を含む出力全体をスクラッチから再合成する傾向がある。 本稿では,編集領域の計算を選択的に行う汎用手法である空間スパース推論(SSI)を提案する。 本稿では,Sparse Incremental Generative Engine (SIGE) を提案する。
  論文  参考訳（メタデータ） (2022-11-03T17:59:55Z)
• Thutmose Tagger: Single-pass neural model for Inverse Text Normalization [76.87664008338317]
  逆テキスト正規化(ITN)は自動音声認識において重要な後処理ステップである。 本稿では,ITN例の粒度アライメントに基づくデータセット作成手法を提案する。 タグと入力語との1対1対応により、モデルの予測の解釈性が向上する。
  論文  参考訳（メタデータ） (2022-07-29T20:39:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。