論文の概要: Smarter and Cheaper at Once: Byte-Exact KV-Cache Grafting Turns a Frozen Small Model into a Verified-Knowledge Flywheel
- arxiv url: http://arxiv.org/abs/2607.14431v1
- Date: Wed, 15 Jul 2026 23:55:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.935924
- Title: Smarter and Cheaper at Once: Byte-Exact KV-Cache Grafting Turns a Frozen Small Model into a Verified-Knowledge Flywheel
- Title（参考訳）: Byte-Exact KV-Cache Graftingは、小型の冷凍モデルを検証済みのフライホイールに変える
- Abstract要約: 凍結した小さな言語モデルを、重みを変えることなく、同時により有能かつ劇的に安価にします。
浮動小数点回転符号化モデルにおいて,自己配置グラフトは数値的に正確な操作点であることを示す。
システムは動作レベルで記述され、エンジンはプロプライエタリであり、報告された全ての数値はコミットされた入力と出力によってバックアップされるので、スコアはそれなしで再チェックできる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We report a way to make a frozen small language model both more capable and dramatically cheaper at once, without changing any weights. Verified knowledge is deposited once as a byte-exact key-value (KV) state artifact and later restored, by graft, into a fresh inference context. The restore is bit-exact: under a pinned deterministic configuration, the grafted logits are byte-for-byte identical to a fresh computation (SHA-256 equality), with zero KL divergence and 100% argmax agreement over fifty samples. We show that own-position graft is the unique numerically exact operating point on a model with floating-point rotary encoding, and we verify byte-exactness on two model scales (12B, 31B) and two GPU targets, one through a pre-registered replay. On AIME 2025, a frozen Gemma-4-12B moves from 80.0% to 93.3% once a verified solution library is grafted, above its own 77.5% and its 31B sibling's 89.2% published anchors. On the recurring case, eight problems the base model never solves within a 401,026-token budget are answered from cached verified solutions in 61 total decode tokens, a factor of 6,574 fewer tokens and about 8,700x less energy; the capability claim proper rests on held-out transfer (7 of 7 at 31B). The same byte-exact store widens usable context from 32,768 to 2,854,766 tokens at zero extra accelerator memory, and moves byte-identical between machines of the same architecture. We describe the system at the behavior level; the engine is proprietary, and every reported number is backed by committed input and output hashes so the scoring can be re-checked without it.
- Abstract（参考訳）: 重みを変更せずに、凍結した小さな言語モデルをより有能で、同時に劇的に安価にする方法を報告します。
検証された知識は、バイトエクサクトキー値(KV)状態アーティファクトとして一度堆積され、後に移植によって新しい推論コンテキストに復元される。
固定された決定論的構成の下では、移植されたロジットは、新しい計算(SHA-256等式)と同じバイト単位のバイトであり、KLの発散はゼロで、50個のサンプルに対して100%argmax一致である。
本研究では,浮動小数点回転符号化モデルにおいて,自己位置グラフトがユニークな数値的操作点であることを示し,2つのモデルスケール(12B,31B)と2つのGPUターゲット(1つは事前登録されたリプレイ)のバイト精度を検証する。
AIME 2025では、凍結したGemma-4-12Bが80.0%から93.3%に移動し、検証済みのソリューションライブラリが移植されると、77.5%、31B兄弟の89.2%のアンカーが移植される。
繰り返し発生するケースでは、ベースモデルが401,026の予算内で解決しない8つの問題は、61個のデコードトークンにキャッシュされた検証済みのソリューションから答えられ、6,574個のトークンと約8,700倍のエネルギーを消費する。
同じバイト・エクサクティヴ・ストアは、32,768から2,854,766のトークンを余剰アクセラレータメモリゼロで使用可能なコンテキストを広げ、同じアーキテクチャのマシン間でバイト・IDを移動させる。
エンジンはプロプライエタリであり、全ての報告された数字はコミットされた入力と出力のハッシュによってバックアップされるので、スコアはそれなしで再チェックできる。
関連論文リスト
- Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models [67.72077328700088]
本稿では,2次元の異なるデコーダのみの高密度変圧器モデルについて検討した。
Token-1B モデルは低FLOP 方式ではバイトモデル (End-Of-Token-1B と Bytes-1B) より優れていたが、最終的には高原となる。
100Kトークンの順序ではなく256バイトの小さな語彙で操作することで、ログダンピング時にトップクランケーションの必要性を回避することができる。
論文 参考訳（メタデータ） (2026-09-11T00:17:22Z) - Invalidation Contracts for Cross-Episode Agent Memory [0.8673353590830692]
APIエラーからのリカバリ提案をキャッシュするLLMエージェントは、後続のエピソードでリデリベーションをスキップすることができる。
サーバ側のデータドリフトは、キャッシュされた修正をサイレント障害にします。
バージョンスタンプとキャッシュ可能性ヒントをすべてのリカバリ提案にアタッチするプロトコル層である、無効化契約を導入する。
論文 参考訳（メタデータ） (2026-08-31T18:45:07Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - Paritok-4B: Intent-Conditioned Context Compression for Coding Agents [0.9689471757238836]
Paritok-4Bは、4BのLoRA圧縮機で、2つのコミットメントに基づいて構築されたコーディング・エージェント・トラジェクトリを駆動する。
書き直しではなくスパンを選択し、96.4%の識別子、パス、および出力した番号が入力にすでに表示されている。
エージェントの現在のタスクでは、主に保持されたセグメント内で動作し、どのラインが生き残るかを選択する。
論文 参考訳（メタデータ） (2026-08-25T07:53:30Z) - A Frozen 12B Beats Frontier Models on Verified Work: 100% Accuracy, 0 Tokens, Bit-Exact, Forever [0.0]
検証された解の永続記憶を用いて言語問題を解く方法を示す。
問題ファミリの新しいインスタンスは、ゼロ生成トークン、ビット実行、決定論的に答えられる。
発表されたベンチマークでは、フロンティアモデルは生のゼロスクラッチ推論において、12Bよりもはるかに先行している。
論文 参考訳（メタデータ） (2026-07-26T19:08:33Z) - Lossless but Not Free: An Empirical Anatomy of Speculative Decoding on Consumer Hardware [0.0]
大規模言語モデルのシングルストリーム自動回帰復号化は、メモリ帯域幅によって制限される。
小さなドラフトモデルは、自動回帰的に$K$トークンを提案し、ターゲットモデルは、これらすべてを1回のバッチパスでスコアする。
本稿では、CUDA/MPS/CPUの実装と、5つのドラフト/ターゲットバックエンド構成に関する実証的研究を紹介する。
論文 参考訳（メタデータ） (2026-07-19T15:01:35Z) - Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning [0.16921396880325776]
固定ボックスパラメータCの1クラスSfpの支持係数が重みを持つメモリであるSupport Vector Attention(SV-Attention)を導入する。
アクティブセットのパーティションは、リザーブトークンを正確にゼロウェイト、出力ウェイトを与え、インクリメンタルインクリメンタルソルバトークンは、同じCの下で再トレーニングせずに生成した状態を回復する。
また,実文埋め込み上での外科的排除,正確な編集,患者記録の削除,忘れやすい検索メモリも示す。
論文 参考訳（メタデータ） (2026-07-13T23:13:57Z) - Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳（メタデータ） (2026-07-08T05:48:57Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - RoPE-Aware Bit Allocation for KV-Cache Quantization [52.099459337231345]
Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。
これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。
128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
論文 参考訳（メタデータ） (2026-06-23T00:17:48Z) - A Verifiable Search Is Not a Learnable Chain-of-Thought [0.0]
短いプログラムで解けるタスクは、そのチェーン・オブ・ソートとしてモデルに教えられると仮定する傾向にある。
本稿では,特定可能な手続きのクラスに対して仮定が失敗することを示す。
論文 参考訳（メタデータ） (2026-06-20T04:52:14Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - StateSMix: Online Lossless Compression via Mamba State Space Models and Sparse N-gram Context Mixing [0.0]
StateSMixはオンライントレーニングされたMambaスタイルのステートスペースモデル(SSM)で、スパース n-gram コンテキストの混合と算術符号を持つ。
SSMはBPEトークンに対して連続的に更新された確率推定を提供し、9つのスパースn-gramハッシュテーブルは正確な局所および長距離パターン記憶を付加する。
標準のenwik8ベンチマークでは、StateSMixは1MBで2.123bpb、3MBで2.149bpb、10MBで2.162bp、xz-9e(LZMA2)を8.7%、5.4%、そして2.162bpbを達成した。
論文 参考訳（メタデータ） (2026-04-05T19:28:11Z) - Learn by Surprise, Commit by Proof [0.0]
本稿では,自律的知識獲得のための自己学習後フレームワークを提案する。
通路が異常に高いパートーケン損失を発生させると、L SCPはそれをフラグ化し、モデルに自身の知識を明確にさせるQ&A連鎖を生成する。
学習強度は1つのパラメータ$r$で管理される。
論文 参考訳（メタデータ） (2026-04-02T12:17:10Z) - The Residual Stream Is All You Need: On the Redundancy of the KV Cache in Transformer Inference [3.378773775514883]
キー値(KV)キャッシュは、トランスフォーマー推論において必須の状態として広く扱われる。
各層におけるキーと値が残留ストリームの決定論的射影であることを証明する。
我々は、境界メモリ推論スキームであるKV-Directを用いて、この結果に基づいて構築する。
論文 参考訳（メタデータ） (2026-03-20T05:59:50Z) - The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。
最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。
我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
論文 参考訳（メタデータ） (2022-12-19T18:48:33Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳（メタデータ） (2020-11-20T23:51:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。