論文の概要: Subtract or Replay? Exact Deletion from Language-Model Memory

• arxiv url: http://arxiv.org/abs/2607.27539v1
• Date: Thu, 30 Jul 2026 00:17:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.351005
• Title: Subtract or Replay? Exact Deletion from Language-Model Memory
• Title（参考訳）: サブトラクションかリプレイか?言語モデルメモリからの排他的削除
• Abstract要約: 永続的な言語モデルメモリからの排他的削除は、そのメモリがレコードをどのように表現するかに依存する。 我々は2つの事前訓練されたモデルにおいて、明示的な記録省略参照に対してこの区別を検証した。
• 参考スコア（独自算出の注目度）: 0.16921396880325776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Exact deletion from persistent language-model memory depends on how that memory represents a record. Addressable influence can be removed by algebraic decrement; influence transformed by later writes inside shared recurrent state requires rebuilding from before the write. We test this distinction in two pretrained models against explicit record-omitted references. First, we replace Gemma 3's global-attention layers with support-vector memory. After low-rank recovery at 1B, decrement and retained-key refit agree at the next-token output to median KL $5.4\times10^{-15}$ over 31 support-token deletions, with $+2.0\%$ perplexity relative to a matched fine-tune. A masked-refit proxy is indistinguishable from the never-ingested floor under elicitation, relearning, sampling, and LiRA attacks. At 4B and 12B, certificate ordering persists but utility cost rises to $11.2\%$ and $44.3\%$. Second, in a 48B Kimi Linear hybrid, additive writes admit a fixed decrement and diagonal decay a corrected one, whereas the delta rule makes $12$--$49\%$ of a record's contribution suffix-dependent. Checkpointed rewind-and-replay deletes real clinical records at contexts up to 18,842 tokens, matching never-ingested logits and all recurrent states bit for bit within a deterministic MLX implementation; replaying a correction provides exact amendment. Exact deletion is therefore a property of memory representation: subtract addressable records and replay entangled writes.
• Abstract（参考訳）: 永続的な言語モデルメモリからの排他的削除は、そのメモリがレコードをどのように表現するかに依存する。 適応可能な影響は、代数的なデクリメントによって取り除くことができる。後続の書き込みによって変換される影響は、共有されたリカレント状態内での書き込みよりも前に再構築する必要がある。 我々は2つの事前訓練されたモデルにおいて、明示的な記録省略参照に対してこの区別を検証した。 まず、Gemma 3のグローバルアテンションレイヤをサポートベクタメモリに置き換えます。 1Bでの低ランク回復の後、デクリメントとキーのリフィットは、中央値のKL 5.4\times10^{-15}$31以上のサポートトケン削除に一致し、マッチしたファイントゥーンに対して+2.0\%$パープレキシティを持つ。 マスク付きリフィットプロキシは、エスカレーション、再学習、サンプリング、LiRAアタックの下で、未使用のフロアと区別できない。 4B と 12B では、証明書の注文は継続されるが、ユーティリティコストは $11.2\%$ と 4,4.3\%$ に上昇する。 第二に、48BのKimi Linearハイブリッドにおいて、付加的な書き込みは固定されたデクリメントと対角線崩壊を補正したものを認め、デルタ規則はレコードの寄与接尾辞に依存している12$--49\%である。 Checkpointed rewind-and-replayは18,842トークンまでのコンテキストで実際の臨床記録を削除する。 したがって、排他的削除はメモリ表現の特性であり、アドレス可能なレコードを減算し、絡み合った書き込みを再生する。

関連論文リスト

• Forgetting Without Restarting: Execution-State Unlearning for Stateful LLM Agents [12.985773309621964]
  Provenance-Guided Selective Replayは、プロンプト、圧縮メモリ、キャッシュにまたがるクロスレイヤコントラクトとしてバインドされる。 我々は,3つのエージェントスイート,9つのベースライン,3つのモデルファミリに対して,エレケーション,キャッシュ,文字列フリーな動作テストで監査を行った。
  論文  参考訳（メタデータ） (2026-09-04T08:31:40Z)
• Dead text or binding clause? Measuring and restoring constraint influence in black-box LLM dialogues [0.0]
  マルチターンダイアログは、ユーザが制約を課すのと同じくらい簡単に取り消すことができるが、取り消しが確実に効果を発揮できない。 既存の手段では、条項ごとにこの影響を測定したり、納品前に予測したり、整合した予算の下で修復したりすることはない。 sysnameはモデルAPIだけで3つのギャップを埋める。
  論文  参考訳（メタデータ） (2026-08-12T21:12:32Z)
• Causal Episodic Memory for Feedback-Driven Agent Repair [2.641347237473854]
  オラクル認証のオンライン双極性メモリを保守するトレーニングフリーエージェントであるMERITを紹介する。 負のメモリが適度に寄与することを示し、型条件付けと語彙ランク付けの値はデータセットに依存し、スキーマローカルエクスペリエンスが最も一貫した利点を提供する。
  論文  参考訳（メタデータ） (2026-08-06T11:34:03Z)
• Caching for the Future: Scrub Jay Episodic Memory Principles for Agent Memory Systems [5.321970297768025]
  既存の記憶アーキテクチャは、全ての記憶を、時代遅れの事実と共に、保存されたコンテキストを均等に永続的で体系的に汚染したものとして扱う。 メモリ当たりの時間減衰は,外部LLMエージェントメモリストアにおいて,自動分類係数$_i$として操作可能であることを示す。 本稿では,時間的一般化テスト(TGT)と,保持間隔を保ったベンチマーク,一般化ギャップ(GenGap)メトリクスを紹介する。
  論文  参考訳（メタデータ） (2026-08-05T12:12:44Z)
• Voice Memory for Agentic Speech Recognition [66.69623133635868]
  エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。 同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。 10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
  論文  参考訳（メタデータ） (2026-07-29T02:42:56Z)
• Naju: A Native Discrete State-Space Model with Independent Retention and Writing for Long-Sequence Memory [7.4750926696730895]
  Najuはリカレント更新を、スキーマ的に$x_n = f_nodot x_n-1 + i_nodot(B_n u_n)$に分解する。 ナジュは、強い長距離メモリと競争力や優れたパフォーマンスを一貫して組み合わせている。
  論文  参考訳（メタデータ） (2026-07-23T07:34:07Z)
• ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation [72.54604107217669]
  textscpass@$k$は圧縮後にほぼ消滅するが、textscpass@$k$は繰り返しサンプリングの下でほぼ回復する。 回復は、密集したトークンレベルの監督の下で、圧縮されたモデル自身のオン政治状態で訓練すべきである。 我々は,教師が確認した反復接尾辞を検知する短時間のOPDスケジュールであるtextbfshortopdを提案する。
  論文  参考訳（メタデータ） (2026-07-14T17:50:50Z)
• Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning [0.16921396880325776]
  固定ボックスパラメータCの1クラスSfpの支持係数が重みを持つメモリであるSupport Vector Attention(SV-Attention)を導入する。 アクティブセットのパーティションは、リザーブトークンを正確にゼロウェイト、出力ウェイトを与え、インクリメンタルインクリメンタルソルバトークンは、同じCの下で再トレーニングせずに生成した状態を回復する。 また,実文埋め込み上での外科的排除,正確な編集,患者記録の削除,忘れやすい検索メモリも示す。
  論文  参考訳（メタデータ） (2026-07-13T23:13:57Z)
• A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets [14.349344554516259]
  HOLA(Hippocampal Linear Attention)は、通常のデルタルール状態を圧縮メモリとして保持し、正確なKVキャッシュを追加する。 15B SlimPajamaトークンでトレーニングされた340万のパラメータで、HOLAはWikitextのパープレキシティを27.32から22.92(-16.1%)に下げる。 また、最高のリニアインコンテキスト検索を実現し、GDNやRULERのニードル・イン・ア・ヘイスタック上のHOLA+リカレンシキャッシュよりもずっと堅牢であり、32kトークン(トレーニング長の16倍)にリコールされる。
  論文  参考訳（メタデータ） (2026-07-02T15:19:49Z)
• Repeated Shared Access Enables Grokking, but Edit Propagation Depends on an Addressable Memory [3.7040644759831736]
  制御された知識グラフQA設定における実際の編集の伝搬について検討する。 学習において、繰り返し共有されるアクセスへの経路は、Denseが失敗するアウト・オブ・ディストリビューション・グルーキング障壁を越えている。 編集の伝搬は、フォワード計算が書き込むアドレス可能なメモリが、後で読み込まれるかどうかに依存する。
  論文  参考訳（メタデータ） (2026-06-17T15:52:08Z)
• Re-feeding Is Not Replaying: Measuring Replay Noise in Counterfactual Token-Credit Estimation [0.0]
  言語モデルのロールアウトにおいて、どのトークンが最終回答が正しいか間違っているかを尋ねる。 我々は、この仮定がストック推論エンジンのコストを3パスの設計で測定する。 6つの構成と3つのモデルにまたがって、リフィーディングはレプリカフロアよりも14-28ポイント高いレートでクレジットの見積もりを変更する。
  論文  参考訳（メタデータ） (2026-06-14T06:09:16Z)
• Isolating LLM Alignment from Regex: Zero Coverage and Metric-Dependent Divergence Under Adversarial Mutation [51.56484100374058]
  以前の作業では、アクティブフィルタの背後にライブのGeminiバックエンドを追加することで、測定可能なカバレッジが得られなかった。 L_4$-real(Gemini-2.5-flash, token-budget cap, rate limit, output scrub)と同様の$L_5$-no-regexを導入するが、9パターンフィルタは無効である。 3つのサブ言語にまたがる敵対的プローブに対して評価を行った。
  論文  参考訳（メタデータ） (2026-06-12T18:54:24Z)
• Echo-Memory: A Controlled Study of Memory in Action World Models [58.77172260403133]
  本研究では,行動条件付き世界モデルにおける記憶機構の制御に関する研究を行う。 既存のメモリ設計と比較するのは難しいのは、ゲインにはバックボーン、トレーニング、検索、評価の違いが絡み合っているからである。 我々はEcho-Memoryを使ってアクション・ツー・ビデオのインタフェースを修正し、生成元によって履歴が保存され読み込まれるかだけを変える。
  論文  参考訳（メタデータ） (2026-06-08T17:54:10Z)
• Skill-as-Pseudocode: Refactoring Skill Libraries to Pseudocode for LLM Agents [50.78646963535282]
  Skill-as-Pseudocode (SaP) はマークダウンスキルライブラリの型付き擬似コードへの自動変換である。 1つ以上のスキルから引き出された類似の手続きパスのクラスタごとに、SaPは型付きコントラクトを抽出し、それを4チェック決定性検証器を通じてフィルタリングする。 プロモートされた契約は、復元された具体的なアクションテンプレートと共に書き直されたスキルスケルトンにインライン化され、エージェントは2つの補完的な信号を与える。
  論文  参考訳（メタデータ） (2026-05-27T04:48:40Z)
• A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
  生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。 逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。 本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
  論文  参考訳（メタデータ） (2026-04-25T17:38:51Z)
• Remember Me, Refine Me: A Dynamic Procedural Memory Framework for Experience-Driven Agent Evolution [52.76038908826961]
  我々は静的ストレージと動的推論のギャップを埋めるため、$textbfReMe$ ($textitRemember Me, Refine Me$)を提案する。 ReMeは3つのメカニズムを通じてメモリライフサイクルを革新する: $textitmulti-faceted distillation$, きめ細かい経験を抽出する。 BFCL-V3とAppWorldの実験では、ReMeが新しい最先端のエージェントメモリシステムを確立している。
  論文  参考訳（メタデータ） (2025-12-11T14:40:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。