論文の概要: Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute
- arxiv url: http://arxiv.org/abs/2610.10845v1
- Date: Wed, 07 Oct 2026 19:50:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.64573
- Title: Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute
- Title（参考訳）: AIの長期的な記憶:50ミリのトーケンウィンドウ
- Abstract要約: 大きな言語モデルは、コンテキストウィンドウに適合するテキストのみを使用することができ、プロンプトが送信されるたびにプロンプトのために内部キー値(KV)状態を再計算する。
我々は、約16,000のトークンのKV状態を暗号化されたローカルディスクに保存し、再計算せずに後で再実行してロードする、パブリックパッケージの galahad-kv というメモリ層をテストする。
実際の公開テキストの50,000,000トークンで実行し、NVIDIA H100上のvLLMを通じてGemma 4 12BとGemma 4 31Bで提供しました。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A large language model can only use the text that fits in its context window, and it recomputes its internal key-value (KV) state for a prompt every time the prompt is sent. We test a memory layer, the public package galahad-kv, that saves the KV state of each block of about 16,000 tokens to encrypted local NVMe disk and loads it back later, byte-exact, without recomputing it. We ran it on 50,000,000 tokens of real public text, served through vLLM on one NVIDIA H100, with Gemma 4 12B and Gemma 4 31B. Every block we probed was loaded back from the encrypted store with no recompute (100 of 100, at depths from 0 to 50M tokens) on both models. Loading a block was 2.8x to 4.3x faster than recomputing it and used 8.8x to 12.3x less GPU energy, and GPU memory stayed flat over the whole 50M-token stream. Asked about facts planted millions of tokens earlier, the 12B model gave the right answer 82 times out of 100 and the 31B model 98 times out of 100. Neither model made up an answer. The limits are as follows. This is reuse of stored state, not a wider attention window: one block is loaded at a time, and how well a question is answered depends on the model. Writing the memory is a one-time cost, and the store takes terabytes of local NVMe disk. We describe the test protocol, which is built to resist common ways of gaming long-context benchmarks, and give a single-GPU reproduction that uses public software and a free licence for the package.
- Abstract（参考訳）: 大きな言語モデルは、コンテキストウィンドウに適合するテキストのみを使用することができ、プロンプトが送信されるたびにプロンプトのために内部キー値(KV)状態を再計算する。
我々は、約16,000のトークンのブロックのKV状態を暗号化されたローカルNVMeディスクに保存し、再計算せずに後でロードする、パブリックパッケージのgalahad-kvをテストする。
実際の公開テキストの50,000,000トークンで実行し、NVIDIA H100上のvLLMを通じてGemma 4 12BとGemma 4 31Bで提供しました。
調査したブロックはすべて、両方のモデルで再計算(100の100、深さ0～50Mトークン)なしで、暗号化ストアからロードされました。
ブロックのロードは再計算より2.8倍から4.3倍速く、GPUエネルギーは8.8倍から12.3倍小さくなり、GPUメモリは50Mのトーケンストリーム全体にわたって平らであった。
12Bモデルは100の82倍、31Bモデルは100の98倍の正しい答えを与えました。
どちらのモデルも答えは出さなかった。
制限は以下の通りである。
これは保存された状態の再利用であり、より広い注意窓ではない。ひとつのブロックが一度にロードされ、質問がどれだけうまく答えられるかはモデルに依存する。
メモリの書き込みは1回あたりのコストであり、ストアはローカルNVMeディスクのテラバイトを必要とする。
テストプロトコルは、長期コンテキストベンチマークの一般的な手法に抵抗して構築され、公開ソフトウェアを使用した単一GPU再生とパッケージのフリーライセンスを提供する。
関連論文リスト
- Periscope: Extending Frozen Language Models Beyond Their Context Window [3.3830567744123723]
言語モデルは、1つの二次フォワードパスで長いテキストを読み、コンテキストウィンドウで停止し、それに到達する前に正確さを失う。
有限集合を決定する際に、読み出しを分解できるかどうかを問う。
Periscopeは$KtimesK$グリッド上のテキストの$N$チャンクを$K=lceilsqrtNrceil$でアレンジし、同じ質問でフリーズモデルに尋ねる。
論文 参考訳（メタデータ） (2026-10-02T20:52:06Z) - Working Around the Compute Ceiling: Byte-Exact Memory in Galahad Makes LLM Reading a One-Time Cost LLM Reading a One-Time Cost [0.0]
私たちは、その天井の下にある予算のどれ程が、そのモデルがすでに行っている作業に費やされているか尋ねます。
現実世界の7つのデータセットでは、98.7%のプロンプトトークンが既に読まれていたテキストだった。
本稿では,vLLM,SG,ラマのメモリ層であるGalahadを紹介する。
論文 参考訳（メタデータ） (2026-09-30T09:16:40Z) - A Frozen 12B Beats Frontier Models on Verified Work: 100% Accuracy, 0 Tokens, Bit-Exact, Forever [0.0]
検証された解の永続記憶を用いて言語問題を解く方法を示す。
問題ファミリの新しいインスタンスは、ゼロ生成トークン、ビット実行、決定論的に答えられる。
発表されたベンチマークでは、フロンティアモデルは生のゼロスクラッチ推論において、12Bよりもはるかに先行している。
論文 参考訳（メタデータ） (2026-07-26T19:08:33Z) - Smarter and Cheaper at Once: Byte-Exact KV-Cache Grafting Turns a Frozen Small Model into a Verified-Knowledge Flywheel [0.0]
凍結した小さな言語モデルを、重みを変えることなく、同時により有能かつ劇的に安価にします。
浮動小数点回転符号化モデルにおいて,自己配置グラフトは数値的に正確な操作点であることを示す。
システムは動作レベルで記述され、エンジンはプロプライエタリであり、報告された全ての数値はコミットされた入力と出力によってバックアップされるので、スコアはそれなしで再チェックできる。
論文 参考訳（メタデータ） (2026-07-15T23:55:48Z) - AdaCodec: A Predictive Visual Code for Video MLLMs [66.30108093864139]
我々は,このインターフェースを音声予測ビジュアルコードと呼び,ビデオMLLMを textbfAdaCodec としてインスタンス化する。
AdaCodecは、条件付き予測コストが高い場合にのみ、参照フレームに完全なビジュアルトークンを使用する。
これは、動きや予測残差を含むフレーム間の変化をコンパクトなPトークンとしてエンコードする。
論文 参考訳（メタデータ） (2026-06-01T17:56:35Z) - Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。
この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。
本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
論文 参考訳（メタデータ） (2026-02-02T13:52:40Z) - M+: Extending MemoryLLM with Scalable Long-Term Memory [43.638130657981534]
メモリLLMに基づくメモリ拡張モデルであるM+を導入し、長期情報保持を大幅に強化する。
M+は長期記憶機構と協調学習した検索装置を統合し、テキスト生成中に関連情報を動的に検索する。
長いコンテキスト理解や知識保持タスクを含む様々なベンチマークでM+を評価する。
論文 参考訳（メタデータ） (2025-02-01T23:13:10Z) - BTR: Binary Token Representations for Efficient Retrieval Augmented Language Models [77.0501668780182]
Retrieval augmentationは、大規模言語モデルにおける多くの重要な問題に対処する。
検索拡張言語モデル(LM)の実行は遅く、大量の検索されたテキストを処理するため、スケールが困難である。
1ビットベクトルを用いて各トークンを前処理するバイナリトークン表現(BTR)を導入する。
論文 参考訳（メタデータ） (2023-10-02T16:48:47Z) - LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。
LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。
広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
論文 参考訳（メタデータ） (2022-04-15T06:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。