論文の概要: Kathleen Remembers: Length-Invariant One-Shot Recall Without Attention
- arxiv url: http://arxiv.org/abs/2608.30376v1
- Date: Mon, 31 Aug 2026 07:35:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.286211
- Title: Kathleen Remembers: Length-Invariant One-Shot Recall Without Attention
- Title（参考訳）: Kathleenが思い出す:長さ不変のワンショットリコール
- Abstract要約: ノートブック」は、学習されたローカル書き込みゲートを備えた固定キーホログラフィック(HRR)連想ストアを有する。
書き込みトリガード・ドレッシングは、メモリ汚染を8倍の長さで排除する。
実験は事前登録され、シードが報告され、単一のフリー層GPUで再現可能である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recurrent, attention-free sequence models share a structural weakness: a fading state cannot perform exact recall of something seen once, far in the past. We add to the Kathleen trunk a second memory layer -- a "notebook": a fixed-key holographic (HRR) associative store with a learned local write gate, a self-gating raw read, and write-triggered forgetting -- 25K parameters that attach to the logits of any trunk. (1) Mechanism: on a controlled needle-in-haystack task the notebook reaches 80-82% one-shot recall at 4x the training length, where the bare trunk scores ~4% and a parameter-matched attention head scores 100% inside its training length and 0% beyond it. Addressing is length-invariant by construction; the untrained memory alone recalls at 90% accuracy identically at 512, 2048 and 4096 bytes. Because the store is a linear superposition, two capabilities follow from arithmetic alone: selective unlearning (one subtraction erases one fact to chance, retained facts unharmed) and per-token attribution (counterfactual erasure names the source fact of every correct byte, 100% provenance). (2) Real text: on WikiText-2 bytes the notebook improves prediction of repeated rare words by +0.15-0.27 bits/byte, the gain growing with the distance between mentions and holding zero-shot at 4x training length; write-triggered forgetting eliminates memory pollution at 8x length (first-mention cost +0.33 -> -0.004). (3) Scope and scale: a parameter-matched attention head does generalize on natural-text repetition, so the notebook's claim is exact recall at O(L); on a WikiText-103 ladder (8 to 512 MB) the zero-shot repeat gain rises monotonically. All experiments are pre-registered, seeds reported, and reproducible on a single free-tier GPU.
- Abstract（参考訳）: 繰り返し、注意のないシーケンスモデルは構造的な弱点を共有している。
私たちはKathleenトランクに、第2のメモリ層 -- "ノートブック" — 学習されたローカル書き込みゲートを備えた固定キーホログラフィック(HRR)連想ストア、セルフゲートの生読み、書き込みトリガーによるリプレース -- を付加します -- 任意のトランクのロジットにアタッチする25Kパラメータ。
1) トレーニング長の4倍でノートブックが80～82%のワンショットリコールに到達し, トレーニング長の約4%, パラメータマッチングされたアテンションヘッドが100%のトレーニング長, 0%のトレーニング長が得られた。
メモリは512、2048、4096バイトとほぼ同じ精度でリコールされる。
ストアは線形重ね合わせであるため、選択的アンラーニング(1つのサブトラクションは1つの事実を偶然に消去し、保持された事実を無害にする)と1つの帰属(数値的消去は全ての正しいバイトの原事実を100%証明する)という2つの能力が算術だけで従う。
2) WikiText-2 bytesでは,ノートブックの繰り返し単語の予測が+0.15-0.27ビット/バイトに向上し,言及とゼロショットを4倍のトレーニング長で保持する距離が増加し,書き込みトリガード・リフレクションは8倍のメモリ汚染を解消する(最初のコスト+0.33 ->0.004)。
(3)スコープとスケール:パラメータマッチングされたアテンションヘッドは自然文の繰り返しを一般化するので、ノートブックのクレームはO(L)で正確にリコールされ、WikiText-103のはしご(8～512MB)ではゼロショットリピートが単調に上昇する。
すべての実験は事前登録され、シードが報告され、単一のフリー層GPU上で再現可能である。
関連論文リスト
- Memory-Skill Isomorphism: One Skill Carrier, Two Native Uses [0.0]
記憶とスキルは重みを変えることなくエージェントを改善する。
この重複の一部は再構築する必要はない。Skillはすでに蒸留メモリの自然なキャリアである。
共有読解側である1つのスキルファミリーは、異なる書き込みを支配した。
論文 参考訳（メタデータ） (2026-09-15T05:47:04Z) - Kathleen Writes: Autoregressive Generation and Data Scaling Without Attention [0.0]
我々は, 事前学習をせずに, 450-700Kパラメータの分類に基づく強いベースラインと, バイトレベルのアテンションフリーアーキテクチャを一致させることができることを示した。
我々は「テキストのように読む」ための非パラメトリックなゲーム抵抗楽器FORM DISTANCEを紹介する。
また,4つのアーキテクチャ追加が役に立たないことを報告し,その5分の1のパラメータで,学習テーブルのトップ1の精度の94%に達する計算辞書を作成した。
論文 参考訳（メタデータ） (2026-08-05T10:44:26Z) - Voice Memory for Agentic Speech Recognition [66.69623133635868]
エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。
同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。
10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
論文 参考訳（メタデータ） (2026-07-29T02:42:56Z) - Ground Truth First: A Longitudinal Evaluation Instrument for Agent Memory, and the Tenure Crossover in Memory-Architecture Rankings [0.0]
シードライフスクリプトサンプリング器は、テキストが存在する前に、有効間隔のボラティリティクラスとソースチャネルの事実を出力する。
検証者は、すべての植えられた事実を確認し、質問はスクリプトから機械的にインスタンス化される。
人工的でフィクション化されたコーパスは、私たちが調査したベンチマークから欠落している特徴を埋め込んでいる。
論文 参考訳（メタデータ） (2026-07-24T04:19:45Z) - Extractable Memorization From First Principles [66.10415626674103]
一致した比較が厳密で校正された暗記の主張を可能にすることを示す。
我々は「抽出可能な記憶」を洗練し、有効な記憶のクレームとほぼ確実な生成を必要とする。
論文 参考訳（メタデータ） (2026-07-14T11:31:36Z) - Selective Memory Retention for Long-Horizon LLM Agents [0.0]
TraceRetainを使用して、機能を解釈してエントリをスコアし、キャパシティの低いものを削除します。
境界保持は、飽和クリーンベンチマークのメモリとステップ効率をタスクコストなしで購入し、ストリームがノイズを含むときだけキャッシュと区別する。
論文 参考訳（メタデータ） (2026-06-28T03:46:46Z) - Echo-Memory: A Controlled Study of Memory in Action World Models [58.77172260403133]
本研究では,行動条件付き世界モデルにおける記憶機構の制御に関する研究を行う。
既存のメモリ設計と比較するのは難しいのは、ゲインにはバックボーン、トレーニング、検索、評価の違いが絡み合っているからである。
我々はEcho-Memoryを使ってアクション・ツー・ビデオのインタフェースを修正し、生成元によって履歴が保存され読み込まれるかだけを変える。
論文 参考訳（メタデータ） (2026-06-08T17:54:10Z) - Less Context, More Accuracy: A Bi-Temporal Memory Engine for LLM Agents Where a Lean Retrieved Context Beats the Full History [2.5401434059780468]
Engramは、バイテンポラルデータモデル上のデュアルプロセスメモリエンジンである。
高速書き込みパスは、クリティカルパスにLSMなしでエピソードを付加する。
ハイブリッドリードパスは、密度、語彙、グラフ、および電流/セイレンス信号を融合する。
論文 参考訳（メタデータ） (2026-06-05T11:43:56Z) - WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction [72.1620416874118]
マルチモーダルな言語モデルは、長距離エージェントとしてますます多くデプロイされている。
既存のベンチマークは、静的対話上のリコールを測定し、メモリを1つのタスクの精度に分解し、キャプションに対する視覚的な観察を減らす。
マルチモーダルエージェントメモリを,観測可能な4段階ライフサイクルを持つアクションワールドインタラクションループとして定式化する。
論文 参考訳（メタデータ） (2026-05-28T04:27:20Z) - Selective Memory for Artificial Intelligence: Write-Time Gating with Hierarchical Archiving [0.0]
パラメトリックアプローチは、選択的な更新を前に、知識を重みに圧縮する。
合成サリエンススコアを用いて、入ってくる知識オブジェクトをフィルタリングする書き込み時間ゲーティングを導入する。
論文 参考訳（メタデータ） (2026-03-16T23:06:44Z) - Memorize or Generalize? Evaluating LLM Code Generation with Code Rewriting [54.48306552577881]
大規模な言語モデル(LLM)は、主にメモリ化(トレーニングデータの大きな部分を複製または再利用する)と一般化(Generalization)を併用している、と我々は主張する。
既存の評価は、表面/構造的類似性を無視し、繰り返しコードの良質な再利用を有害なリコールと記憶タスクの正しさで混同する。
そこで我々は,2つの信号を組み合わせた正規化スコアである覚書リスク指標(MRI)を提案する。 (i) モデルが元の地平解とどのように類似しているか, (ii) 元のタスクから書き換えされたタスクにどの程度の性能が低下するか。
論文 参考訳（メタデータ） (2025-03-04T05:39:24Z) - Cut Your Losses in Large-Vocabulary Language Models [102.6981011879656]
我々は,全トークンのロジットをグローバルメモリに実体化することなく,クロスエントロピー損失を計算する手法であるカットクロスエントロピー(CCE)を提案する。
CCEはロスのメモリフットプリントを24GBから1MBに減らし、ヘッドのトレーニング時間のメモリ消費を28GBから1GBに短縮する。
論文 参考訳（メタデータ） (2024-11-13T20:30:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。