論文の概要: Constant-Memory Recall: Learned Associations in a Fixed Matrix State

• arxiv url: http://arxiv.org/abs/2610.00232v1
• Date: Wed, 23 Sep 2026 00:17:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.578748
• Title: Constant-Memory Recall: Learned Associations in a Fixed Matrix State
• Title（参考訳）: 定記憶リコール: 固定行列状態における学習されたアソシエーション
• Abstract要約: 固定サイズのリカレントメモリは、推論中のストレージ増加を制限するが、リコールの成功はタスクとトレーニングに依存する。 固定トークン固有の鍵バイアスを持つ小さなDeltaNet変種について検討し,32個の新しいキー値ペアリングをシーケンス毎に記憶するように訓練した。 32の繰り返し行列状態で、配列の値の中から選択すると、3つの訓練種子の平均精度が99.95%に達する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fixed-size recurrent memory limits storage growth during inference, but successful recall depends on the task and training. We study a small DeltaNet variant with fixed token-specific key biases, trained to remember 32 new key-value pairings per sequence. With 32 KiB of recurrent matrix state, it achieves 99.95% mean accuracy across three training seeds when choosing among the sequence's values. Recall remains near perfect when filler extends the pre-query context to 1,798 tokens without adding pairings. Zeroing the first memory block removes this recall. An exploratory 48-pair test remains near chance after one quarter of the primary training budget and does not locate a capacity limit. Parameter-matched vector and Transformer baselines remain near chance, including the Transformer after additional training searches. This unresolved baseline failure prevents a memory-efficiency comparison.
• Abstract（参考訳）: 固定サイズのリカレントメモリは、推論中のストレージ増加を制限するが、リコールの成功はタスクとトレーニングに依存する。 固定トークン固有の鍵バイアスを持つ小さなDeltaNet変種について検討し,32個の新しいキー値ペアリングをシーケンス毎に記憶するように訓練した。 繰り返し行列状態の32KiBでは、配列の値の中から選択すると、3つの訓練種子の平均精度が99.95%に達する。 フィラーがペアリングを追加することなく、プレクエリコンテキストを1,798トークンに拡張した場合、リコールは完璧に近いままである。 最初のメモリブロックをゼロにすると、このリコールが削除される。 予備訓練予算の4分の1の後に48対の探査試験が実施され、キャパシティの制限はない。 パラメータマッチングベクターとTransformerベースラインは、追加のトレーニング検索の後、Transformerを含むほぼ偶然に残っている。 この未解決のベースライン障害は、メモリ効率の比較を妨げる。

関連論文リスト

• Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
  Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。 一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
  論文  参考訳（メタデータ） (2026-07-30T16:41:40Z)
• Memoir: Should a Model Write to Its Memory While It Thinks? [0.0]
  Memoirは、サンプル毎の高速メモリ、共有スローパラメータ、変数深度潜時再発、および将来の遅延エネルギー目標を組み合わせたものだ。 組み合わせた腕と、それ以外は同じ読み取り専用の機雷アームを比較します。 メモリの書き直しがエネルギーシグナルを損なうという予測された失敗は起こらなかった。
  論文  参考訳（メタデータ） (2026-07-22T23:34:56Z)
• Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning [0.16921396880325776]
  固定ボックスパラメータCの1クラスSfpの支持係数が重みを持つメモリであるSupport Vector Attention(SV-Attention)を導入する。 アクティブセットのパーティションは、リザーブトークンを正確にゼロウェイト、出力ウェイトを与え、インクリメンタルインクリメンタルソルバトークンは、同じCの下で再トレーニングせずに生成した状態を回復する。 また,実文埋め込み上での外科的排除,正確な編集,患者記録の削除,忘れやすい検索メモリも示す。
  論文  参考訳（メタデータ） (2026-07-13T23:13:57Z)
• A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets [14.349344554516259]
  HOLA(Hippocampal Linear Attention)は、通常のデルタルール状態を圧縮メモリとして保持し、正確なKVキャッシュを追加する。 15B SlimPajamaトークンでトレーニングされた340万のパラメータで、HOLAはWikitextのパープレキシティを27.32から22.92(-16.1%)に下げる。 また、最高のリニアインコンテキスト検索を実現し、GDNやRULERのニードル・イン・ア・ヘイスタック上のHOLA+リカレンシキャッシュよりもずっと堅牢であり、32kトークン(トレーニング長の16倍)にリコールされる。
  論文  参考訳（メタデータ） (2026-07-02T15:19:49Z)
• ConvMemory v3: A Validity Context Layer for Conversational Memory via Target-Conditioned Relation Verification [0.0]
  ConvMemory v3では、この更新エビデンスを検出し、サーフェスする妥当性コンテキスト層が追加されている。 コアメカニズムは、特定のターゲット命題に関する関係判断を条件とする二重証拠ゲートである。 合成マルチホップ検証ベンチマークでは、ゲートの精度は90.12% +/- 1.73である。
  論文  参考訳（メタデータ） (2026-06-25T08:36:43Z)
• ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
  LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。 IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。 当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
  論文  参考訳（メタデータ） (2026-04-09T10:26:32Z)
• NextMem: Towards Latent Factual Memory for LLM-based Agents [58.35585202907478]
  NextMemは、自動回帰型オートエンコーダを使用して、潜時メモリを効率的に構築する、潜時ファクトメモリフレームワークである。 大規模な実験は、NextMemが優れたパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2026-02-26T14:35:27Z)
• Compact Memory for Continual Logistic Regression [45.6774409797545]
  本稿では,ロジスティック回帰のためのコンパクトメモリ構築手法を提案する。 弊社のアプローチは、Experience Replayに比べて大幅に精度を向上できる。 我々の研究は、連続的な深層学習に役立つコンパクトメモリを構築するための新しい方向を開く。
  論文  参考訳（メタデータ） (2025-11-12T10:05:06Z)
• TinyTL: Reduce Activations, Not Trainable Parameters for Efficient On-Device Learning [78.80707950262214]
  デバイス上での学習により、エッジデバイスはAIモデルを新しいデータに継続的に適応できる。 既存の作業は、トレーニング可能なパラメータの数を減らすことで、この問題を解決する。 メモリ効率の高いオンデバイス学習のためのTiny-Transfer-Learning(TinyTL)を提案する。
  論文  参考訳（メタデータ） (2020-07-22T18:39:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。