論文の概要: Working Around the Compute Ceiling: Byte-Exact Memory in Galahad Makes LLM Reading a One-Time Cost LLM Reading a One-Time Cost

• arxiv url: http://arxiv.org/abs/2609.39358v1
• Date: Wed, 30 Sep 2026 09:16:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.508986
• Title: Working Around the Compute Ceiling: Byte-Exact Memory in Galahad Makes LLM Reading a One-Time Cost LLM Reading a One-Time Cost
• Title（参考訳）: 計算シーリングの周辺で作業する:ガラハドのByte-exact Memoryは、1回のコストでLLMを読み取り、1回のコストで読み取る
• Abstract要約: 私たちは、その天井の下にある予算のどれ程が、そのモデルがすでに行っている作業に費やされているか尋ねます。 現実世界の7つのデータセットでは、98.7%のプロンプトトークンが既に読まれていたテキストだった。 本稿では,vLLM,SG,ラマのメモリ層であるGalahadを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A transformer language model performs a bounded amount of computation per token, and recent work by Vishal Sikka, former CEO of Infosys, argues that this bound limits which tasks a model can carry out or verify (arXiv:2507.07505). We ask how much of the budget beneath that ceiling is spent on work the model has already done. Serving is stateless across requests: a model that answers a second question about a document recomputes the document's attention state from the first token. On seven real-world datasets, 98.7% of prompt tokens were text the model had already read. We present Galahad, a memory layer for vLLM, SGLang and llama.cpp that makes this reading a one-time cost. Taliesin saves the model's key-value (KV) state for a block of text and loads it on the next request that contains the same bytes, instead of recomputing it. Blaise keeps the documents themselves and passes the model only the section a question needs. On a recall test with 100 facts hidden in a 97,000-token corpus (Gemma 4 31B), Taliesin alone let the model attend to the whole corpus and answered 98 of 100 on llama.cpp at 3.0 s and 572 J per question, against 10 of 100, 9.3 s and 2,754 J for the same model without Galahad, which could hold only the last 12,000 tokens. With Blaise added, the model read about 668 tokens per question and answered 100 of 100 on all three runtimes at 0.59-0.64 s and 200-213 J; a tuned RAGFlow pipeline answered 77. Storing the corpus is a one-time cost of about 100 s and 28 kJ, whose energy is recovered after 13 questions. Restored state is bit-identical: all 262,144 output logits matched after restart, rehydration and hot-load. Galahad worked with all 30 models we tested under vLLM, and it fails closed: any load that does not pass its checks is recomputed. Together these results move LLM serving from stateless to stateful inference.
• Abstract（参考訳）: トランスフォーマー言語モデルではトークン当たりの計算量が制限されているが、Infosysの元CEOであるVishal Sikka氏の最近の研究は、モデルが実行または検証できるタスクの制限について論じている(arXiv:2507.07505)。 私たちは、その天井の下にある予算のどれ程が、モデルがすでに行ってきた作業に費やされているか尋ねます。 文書に関する第2の質問に答えるモデルは、最初のトークンからドキュメントの注意状態を再計算します。 現実世界の7つのデータセットでは、98.7%のプロンプトトークンが既に読まれていたテキストだった。 ここでは、vLLM、SGLang、llama.cpp用のメモリ層であるGalahadを紹介します。 Taliesinは、モデルのキー値(KV)状態をテキストブロックに保存し、それを再計算する代わりに、同じバイトを含む次のリクエストにロードする。 Blaiseは、ドキュメントを自身で保持し、質問が必要なセクションのみをモデルに渡す。 97,000トンのコーパス(Gemma 4 31B)に隠された100の事実のリコールテストにおいて、タリーシンは1問あたり3.0秒と572Jのラマ.cppで100点中98点を、ガラハドのない同じモデルの100点、9.3秒と2,754Jに対して答えた。 Blaiseが加わったことで、モデルは1問あたり668個のトークンを読み、0.59-0.64秒と200-213Jの3つのランタイムで100個のうち100個に回答した。 コーパスは1回あたり約100 sと28 kJのコストで、そのエネルギーは13の質問で回収される。 262,144の出力ログはすべて、再起動、再水和、ホットロード後に一致します。 Galahad氏は、私たちがvLLMでテストした30モデルすべてで動作し、クローズします。 これらの結果は、LLMをステートレスからステートフルな推論に移す。

関連論文リスト

• this-that-model-1.0: A typed decision model that decides in 30 ms, for a millionth of a cent [9.39195684989942]
  このモデル1.0は2B型決定モデルである。 1つのラップトップGPU上で30.9msで決定し、それを行う出力トークンをゼロにする。 1つのコンシューマGPU上で毎秒32の意思決定を維持でき、ステートがマシンを離れることはない。
  論文  参考訳（メタデータ） (2026-09-20T21:43:03Z)
• ufakzeka-1: Building and Evaluating a 151M-Parameter Turkish Language Model from Scratch [0.0]
  ufakzeka-1 は 151M-パラメータ (182M) で、デコーダのみのトルコ語モデルで13.5B のトークンでスクラッチから事前訓練された。 1ワードあたり1.77トークンのトルコのバイトレベルのトークンライザ、3段階の事前訓練スケジュール、オープンライセンスと生成されたデータのトレーニング後の混合、リリースゲートの評価バッテリ、ルールチェックによる5,508の会話、判断された会話と手動テスト、これらはすべてトレーニングデータから保持されたプロンプトで、データビルド内とチェック--によって強制される。
  論文  参考訳（メタデータ） (2026-09-18T20:33:02Z)
• A Frozen 12B Beats Frontier Models on Verified Work: 100% Accuracy, 0 Tokens, Bit-Exact, Forever [0.0]
  検証された解の永続記憶を用いて言語問題を解く方法を示す。 問題ファミリの新しいインスタンスは、ゼロ生成トークン、ビット実行、決定論的に答えられる。 発表されたベンチマークでは、フロンティアモデルは生のゼロスクラッチ推論において、12Bよりもはるかに先行している。
  論文  参考訳（メタデータ） (2026-07-26T19:08:33Z)
• Smarter and Cheaper at Once: Byte-Exact KV-Cache Grafting Turns a Frozen Small Model into a Verified-Knowledge Flywheel [0.0]
  凍結した小さな言語モデルを、重みを変えることなく、同時により有能かつ劇的に安価にします。 浮動小数点回転符号化モデルにおいて,自己配置グラフトは数値的に正確な操作点であることを示す。 システムは動作レベルで記述され、エンジンはプロプライエタリであり、報告された全ての数値はコミットされた入力と出力によってバックアップされるので、スコアはそれなしで再チェックできる。
  論文  参考訳（メタデータ） (2026-07-15T23:55:48Z)
• FluctlightDB: A Memory Model of Data for AI Agents [1.3537117504260623]
  FluctlightDBは、experience()を介してこのコントラクトを実装し、アクティベートする組み込みエンジンである。 LoCoMoでは、2026年7月に内部で再生されたランで99.0%のリコールが行われた。
  論文  参考訳（メタデータ） (2026-07-10T09:18:32Z)
• Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
  我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。 任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。 CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
  論文  参考訳（メタデータ） (2025-10-13T21:07:05Z)
• s1: Simple test-time scaling [148.4204982041058]
  テスト時間スケーリングは、パフォーマンスを改善するために余分なテスト時間計算を使用する言語モデリングに対する、有望な新しいアプローチである。 テストタイムのスケーリングと強力な推論性能を実現するための最もシンプルなアプローチを探します。
  論文  参考訳（メタデータ） (2025-01-31T18:48:08Z)
• Think before you speak: Training Language Models With Pause Tokens [73.61375226378712]
  言語モデルは、即座に連続して一連のトークンを生成して応答を生成する。 代わりに、$(K+1)th$トークンを出力する前に、モデルに$K+10$隠れベクターを操作させるとしたらどうでしょう? 私たちは、(学習可能な)$textitpause$トークンを使って、言語モデルでトレーニングと推論を行うことで、このアイデアを運用します。
  論文  参考訳（メタデータ） (2023-10-03T17:32:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。