論文の概要: Delta N-gram: Forward-Only Continual Writing into a Language Model's Native N-gram Memory

• arxiv url: http://arxiv.org/abs/2610.31125v1
• Date: Thu, 22 Oct 2026 11:42:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.363145
• Title: Delta N-gram: Forward-Only Continual Writing into a Language Model's Native N-gram Memory
• Title（参考訳）: Delta N-gram: 言語モデルのネイティブN-gramメモリへのフォワードオンリーな書き込み
• Abstract要約: ネイティブなN-gramテーブルにフォワードのみの書き込みパスであるDelta N-gramを提示する。 T0のみのモデルでエビデンスをエンコードするプレーンライターと、エンコード中に現在のメモリを読み込むデルタライターの2つを研究した。
• 参考スコア（独自算出の注目度）: 3.0202480164648677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Our previous analysis found that a model's native hashed N-gram table is where continual updates disturb the base least, but its writes needed backpropagation and changed the pretrained table. We present Delta N-gram, a forward-only write path into that table. The pretrained table T^0 is never modified. Evidence is written into a sparse patch Δon the rows it addresses: a 4.1M-parameter writer emits a target and a gate per (position, hash head) event, and a block-averaged delta rule keeps each row a convex combination of its old value and the gated targets. The writer is trained offline on raw text with the pretraining objective; at use time writing takes forward passes only, and clearing Δrestores the original model. A 0.6B prototype trained to answer questions keeps 16/16 facts after a second write; online gradient writes keep 2--4/16. We study two writers: a plain writer that encodes evidence with the T^0-only model, and a delta writer that reads its current memory while encoding. On Qwen3.8-Flash-Next, the plain writer's memory is document-specific: on 64 held-out news events it lowers continuation NLL by 0.068 nats/token against empty memory and by 0.024 against another document's memory, and 0.063 and 0.013 after 16 intervening articles. The delta writer's memory is more document-specific and keeps more of it under distraction (70% vs 54%). Over 35,000 writes on our previous seven-task chain both writers stay stable and the delta writer drifts less (layer-2 math drift 176% vs 188%); later accuracy changes by -0.26/-0.52pp (-7.29pp for gradient updates) and small-k_i drift is 17.9/17.5% (39.2%). Acquisition is negative, and general-input drift reaches 32.8% (20.75%): format rows read by every example grow to 4--12 times their pretrained norm. Zeroing eight such rows removes over 98% of layer-2 drift on math inputs, together with their NLL gain.
• Abstract（参考訳）: 以前の分析では、モデルのネイティブハッシュN-gramテーブルは、連続的な更新がベースを乱す最小の場所であるが、その書き込みにはバックプロパゲーションが必要であり、事前訓練されたテーブルを変更した。 我々は、そのテーブルにフォワード専用の書き込みパスであるDelta N-gramを提示する。 事前訓練されたテーブルT^0は、決して変更されない。 4.1Mパラメータライターはターゲットとゲートパー(位置、ハッシュヘッド)イベントを出力し、ブロック平均のデルタルールは各行を古い値とゲートターゲットの凸の組み合わせとして保持する。 ライターはトレーニング済みの目的を持った生のテキストでオフラインでトレーニングされる。 0.6Bのプロトタイプは、2回目の書き込み後に16/16の事実を保持し、オンラインの勾配書き込みは2--4/16を維持している。 T^0のみのモデルでエビデンスをエンコードするプレーンライターと、エンコード中に現在のメモリを読み込むデルタライターの2つを研究する。 Qwen3.8-Flash-Nextでは、プレーンライターのメモリは文書固有のものであり、64の保持されたニュースイベントでは、継続NLLを空のメモリに対して0.068nats/token、他のドキュメントのメモリに対して0.024、16のインターベンション記事の後0.063と0.013で下げている。 デルタ・ライターの記憶はドキュメントに特化しており、その多くを邪魔する(70%対54%)。 以前の7つのタスクチェーンに関する35,000以上の書き込みは安定しており、デルタライターのドリフトは減少し(層2の数学ドリフトは176%対188%)、その後、-0.26/-0.52pp (勾配更新は7.29pp)、小さなk_iドリフトは17.9/17.5%(39.2%)である。 獲得は否定的であり、一般入力のドリフトは32.8% (20.75%)に達する。 このような8行をゼロにすると、NLLのゲインとともに、計算入力におけるレイヤ2のドリフトの98%以上を除去する。

関連論文リスト

• Intent-Triggered Anchoring for Multi-Token Format Units in Parallel Decoding of Diffusion Language Models [2.4827516038838064]
  並列デコーディングでは、拡散言語モデルはフォワードパス毎に複数のトークンをコミットするので、共コミットされたトークンはお互いを見ることができない。 モデルが最初のトークンをコミットした後にフォーマット単位を完了するトレーニング不要な復号規則であるインテントトリガー付きアンカーを提案する。
  論文  参考訳（メタデータ） (2026-10-12T10:07:01Z)
• Representation Drift in Continual Learning: LoRA versus N-gram Memory [3.0202480164648677]
  オンライン学習を継続する言語モデルは、その基本能力を徐々に損なうべきではない。 我々は、モデルの内部表現をどのように変更するかを測定することで、現代のLCMのどの部分が継続的な更新を吸収すべきかを問う。 各レイヤにおける固定コンテキスト表現とタスク境界をキャプチャします。
  論文  参考訳（メタデータ） (2026-10-10T13:43:13Z)
• Self-Generated Feedback Destabilizes Test-Time Training: A Causal Decomposition of Long-Horizon Adaptation [55.54635884641362]
  テストタイムトレーニングは、モデルが推論中に重みに情報を格納することを可能にする。 各更新では、次のトレーニング例を生成するモデルも変更される。 生成されたテキストの更新を保持する128Kのトーケンストリームは、独立した人文テキストの予測を悪化させる。
  論文  参考訳（メタデータ） (2026-10-04T09:21:14Z)
• LatentPort: Beyond KV Cache - Cross-Model Transfer of Recurrent Memory in Hybrid Language Models: A 4B-to-9B Hybrid-State Handoff Without Target Prefix Replay [0.0]
  これは、異なる言語モデル間で持続的な再帰的推論状態を示す最初のクロスモデルハンドオフである。 直接リカレントと畳み込みの再利用は、テストされたGDNマップよりも優れている。
  論文  参考訳（メタデータ） (2026-09-07T03:57:29Z)
• Kathleen Remembers: Length-Invariant One-Shot Recall Without Attention [0.0]
  ノートブック」は、学習されたローカル書き込みゲートを備えた固定キーホログラフィック(HRR)連想ストアを有する。 書き込みトリガード・ドレッシングは、メモリ汚染を8倍の長さで排除する。 実験は事前登録され、シードが報告され、単一のフリー層GPUで再現可能である。
  論文  参考訳（メタデータ） (2026-08-31T07:35:03Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Voice Memory for Agentic Speech Recognition [66.69623133635868]
  エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。 同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。 10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
  論文  参考訳（メタデータ） (2026-07-29T02:42:56Z)
• Erase-then-Delta Attention: Decoupling Erase and Write Addresses in Delta-Rule Linear Attention [61.96880087320455]
  Delta-ruleリニアアテンションは、現在の書き込みアドレスに保存されているものを修正することで、リカレントメモリ更新を改善する。 本稿では,Erase-then-Delta Attention (EDA)を提案する。
  論文  参考訳（メタデータ） (2026-06-25T03:12:19Z)
• WriteSAE: Sparse Autoencoders for Recurrent State [0.0]
  WriteSAEはモデル自身の書き込みと同じ形状のランク1行列原子を学習する。 数式は書き込み方向を選択し、それを3つの連続キャッシュ位置に書き込む:$3times$モデルの書き込みのノルムは、トークンを最初に100-1000ランクにし、連続の100%で表示し、33.3%から上昇する。
  論文  参考訳（メタデータ） (2026-05-12T21:32:45Z)
• Fast Quiet-STaR: Thinking Without Thought Tokens [51.79231070632772]
  Fast Quiet STaRは、より効率的な推論フレームワークであり、計算コストを削減しながらトークンレベルの推論の利点を保存する。 本手法では,段階的に思考トークン数を減少させるカリキュラムベースの学習戦略を導入する。 Mistral 7BとQwen2.5 7Bによる4つのベンチマークデータセットの実験では、Fast Quiet-STaRが平均精度でQuiet-STaRを一貫して上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-05-23T11:14:12Z)
• Understanding writing style in social media with a supervised contrastively pre-trained transformer [57.48690310135374]
  オンラインソーシャルネットワークは、ヘイトスピーチから偽情報の拡散まで、有害な行動の場として機能している。 本稿では, 4.5 x 106テキストの公開資料から得られた大規模コーパスに基づいて学習したStyle Transformer for Authorship Representations (STAR)を紹介する。 512個のトークンからなる8つのドキュメントからなるサポートベースを使用して、著者を最大1616人の著者のセットから、少なくとも80%の精度で識別することができる。
  論文  参考訳（メタデータ） (2023-10-17T09:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。