Fugu-MT 論文翻訳(概要): Cacheback: Speculative Decoding With Nothing But Cache

論文の概要: Cacheback: Speculative Decoding With Nothing But Cache

arxiv url: http://arxiv.org/abs/2511.21699v1
Date: Sat, 15 Nov 2025 23:32:32 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-07 19:06:32.337894
Title: Cacheback: Speculative Decoding With Nothing But Cache
Title（参考訳）: キャッシュバック:キャッシュだけの投機的デコード
Authors: Zhiyao Ma, In Gim, Lin Zhong,
Abstract要約: Cachebackはトレーニング不要でモデルに依存しない投機的復号法である。言語における局所性を利用して、LLM(Large Language Model)推論を加速する。
参考スコア（独自算出の注目度）: 3.3996015777039665
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present Cacheback Decoding, a training-free and model-agnostic speculative decoding method that exploits the locality in language to accelerate Large Language Model (LLM) inference. Cacheback leverages only Least Recently Used (LRU) cache tables of token n-grams to generate draft sequences. Cacheback achieves state-of-the-art performance among comparable methods despite its minimalist design, and its simplicity allows easy integration into existing systems. Cacheback also shows potential for fast adaptation to new domains.
Abstract（参考訳）: 本稿では,Large Language Model (LLM) 推論を高速化するために,言語内の局所性を活用する,学習不要でモデルに依存しない投機的復号法であるCacheback Decodingを提案する。キャッシュバックはトークンn-gramのLRUキャッシュテーブルのみを利用して、ドラフトシーケンスを生成する。 Cachebackは最小限の設計にもかかわらず、同等のメソッド間で最先端のパフォーマンスを実現し、そのシンプルさによって既存のシステムへの統合が容易になる。キャッシュバックは、新しいドメインへの迅速な適応の可能性も示している。

関連論文リスト

DiCache: Let Diffusion Model Determine Its Own Cache [62.954717254728166]
DiCacheは、実行時に拡散モデルを加速するためのトレーニング不要のアダプティブキャッシュ戦略である。 Online Probe Profiling Schemeは浅層オンラインプローブを利用して,キャッシュエラーのオンザフライインジケータをリアルタイムで取得する。 Dynamic Cache Trajectory Alignmentは、マルチステップの履歴キャッシュから出力されるディープ層の特徴を近似する。
論文参考訳（メタデータ） (2025-08-24T13:30:00Z)
TokenLake: A Unified Segment-level Prefix Cache Pool for Fine-grained Elastic Long-Context LLM Serving [12.80179556886128]
セグメントレベルのプレフィックス・キャッシュ・プールであるTokenLakeを提案する。キャッシュインターフェースを使用して、リクエストのクエリテンソル、プレフィックス、キャッシュ対応操作を公開します。 TokenLakeはスループットを最大2.6$times$と2.0$times$に改善し、ヒット率を2.0$times$と2.1$times$に向上させることができる。
論文参考訳（メタデータ） (2025-08-24T05:45:16Z)
A Generative Caching System for Large Language Models [1.2132389187658934]
キャッシングは、大きな言語モデル(LLM)にアクセスする上で、大きなメリットをもたらす可能性がある。本稿では,LLMを用いたユーザエクスペリエンス向上のための新しいキャッシングシステムを提案する。生成キャッシングでは、複数のキャッシュされたレスポンスを合成して、これまで見たことのないクエリに対する回答を提供することができます。
論文参考訳（メタデータ） (2025-03-22T01:17:56Z)
EPIC: Efficient Position-Independent Caching for Serving Large Language Models [19.510078997414606]
キャッシングは、リクエスト間でキーバリューベクトルを再利用することで、パフォーマンスを向上させる。既存のコンテキストキャッシュでは、リクエストにまたがる正確なプレフィックスが必要である。位置独立キャッシング (PIC) を導入し, プレフィックスによらず KV ベクトルのモジュラー再利用を可能にする。また、新しいLegoLinkアルゴリズムを取り入れたサービスシステムEPICも導入しています。
論文参考訳（メタデータ） (2024-10-20T08:42:29Z)
Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。命令符号化では,キャッシュの重要性を評価するために周波数を利用する。様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
論文参考訳（メタデータ） (2024-07-25T15:29:05Z)
Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
論文参考訳（メタデータ） (2024-02-14T18:54:56Z)
Reinforcement Learning for Caching with Space-Time Popularity Dynamics [61.55827760294755]
キャッシングは次世代ネットワークにおいて重要な役割を果たすと想定されている。コンテンツをインテリジェントにプリフェッチし、保存するためには、キャッシュノードは、何といつキャッシュするかを学ばなければならない。本章では、近似キャッシングポリシー設計のための多目的強化学習に基づくアプローチを提案する。
論文参考訳（メタデータ） (2020-05-19T01:23:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。