論文の概要: Beyond K/V Caches: Cross-Model State Handoff in Hybrid Linear-Attention LLMs

• arxiv url: http://arxiv.org/abs/2611.08133v1
• Date: Thu, 05 Nov 2026 15:00:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.551992
• Title: Beyond K/V Caches: Cross-Model State Handoff in Hybrid Linear-Attention LLMs
• Title（参考訳）: K/Vキャッシュを超えて:ハイブリッドリニアアテンションLLMにおけるクロスモデルステートハンドオフ
• Abstract要約: 既存のメソッドはモデル間でフルアテンション(FA)K/Vキャッシュを転送する。 ハイブリッド線形アテンションモデルは、リカレントステート(REC)と畳み込みヒストリー(Conv)も保持する。 3つの状態タイプすべてに対してHST(Hybrid State Transfer)を提案する。
• 参考スコア（独自算出の注目度）: 12.692154916409422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Production deployments often use different models to balance cost and quality through cascading, routing, and switching models during long conversations. Context accumulates across turns. Each switch requires the target to repeat prefill over this context. Existing methods transfer full-attention (FA) K/V caches across models. Hybrid linear-attention models also retain recurrent states (REC) and convolution histories (Conv). The interaction between Conv and REC complicates cross-model state transfer. Conv perturbations can change keys and values in recurrent layers and alter REC updates. Conv histories are overwritten, but changes in REC can still affect later outputs. More accurate REC reconstruction need not improve continuation. Building on this, we propose Hybrid State Transfer (HST) for all three state types. It uses structured REC maps and preserves history order during Conv alignment. We calibrate the adapters using the frozen target's outputs during continuation. FA cache map updates are merged offline. Across five benchmarks, Qwen3.5 4B$\rightarrow$27B and 9B$\rightarrow$27B achieve mean task retentions of 89.88% and 94.11%, respectively. With source caches already available, separate timing on synthetic 16K inputs yields handoff body speedups of $21.66\times$ and $21.91\times$.
• Abstract（参考訳）: プロダクションデプロイメントでは、長時間の会話において、カスケード、ルーティング、モデルの切り替えを通じて、コストと品質のバランスをとるために、さまざまなモデルを使用することが多い。 コンテキストはターンにまたがって蓄積される。 各スイッチは、ターゲットがこのコンテキスト上でプリフィルを繰り返す必要がある。 既存のメソッドはモデル間でフルアテンション(FA)K/Vキャッシュを転送する。 ハイブリッド線形アテンションモデルは、再帰状態(REC)や畳み込み履歴(Conv)も保持する。 ConvとRECの相互作用は、クロスモデル状態転送を複雑にする。 Convの摂動は、リカレントレイヤのキーと値を変更し、REC更新を変更することができる。 Conv履歴は上書きされているが、RECの変更は後続の出力に影響を与える可能性がある。 より正確なREC再建は継続性を改善する必要はない。 そこで我々は3つの状態タイプすべてに対してHST(Hybrid State Transfer)を提案する。 構造化されたRECマップを使用し、Convアライメント中の履歴順序を保存する。 連続中に凍結ターゲットの出力を用いてアダプタを校正する。 FAキャッシュマップ更新はオフラインでマージされる。 5つのベンチマークで、Qwen3.5 4B$\rightarrow$27Bと9B$\rightarrow$27Bはそれぞれ平均タスク保持率89.88%と94.11%を達成した。 ソースキャッシュが既に利用可能になっているため、合成16K入力の別々のタイミングでは、ハンドオフボディのスピードアップが21.66\times$と21.91\times$になる。

関連論文リスト

• Recast the Past: Stable Long Video Generation with Full Context Memory [86.51692608974945]
  ReCamは、歴史的潜伏者の局所的なブロックをプロジェクトにグループ化し、それらを高次元の隠れた空間に直接緩和する。 Transformerモデルは、ネイティブな自己アテンションを通じて結果のトークンを使用することを学び、完全な履歴へのブロックレベルアクセスを維持しながら、メモリトークン数を削減します。 評価手法のうち,ReCamは,R2M-Bench上でのVhorizon-Long総合スコア80.1と,競合する静的・シーンの再現性能を最高に達成している。
  論文  参考訳（メタデータ） (2026-10-20T10:27:07Z)
• HLA-WM: Hybrid Linear Attention for Long-Horizon Video World Models [47.19295948657598]
  HLA-WMは、トレーニングフリーのハイブリッドリニアアテンションフレームワークである。 Gated DeltaNetのアフィン構造を利用して、コンパクトなチャンクのトランジションサマリーをキャッシュする。 カメラ幾何学を用いてシーン関連履歴チャンクを検索し、それらをクエリ固有のリカレント状態に再構成する。
  論文  参考訳（メタデータ） (2026-10-05T03:44:00Z)
• CacheReforge: Bounded Recovery for Stale KV Caches under Evolving Adapters [19.335974130332787]
  KVキャッシュを階層的に混合変換オブジェクトとして表現するCacheReforgeを導入する。 16K HotpotQA と 2WikiMQA のワークロードを含む連続的な LoRA 更新で Qwen2.5-1.5B と Qwen2.5-7B で評価した。
  論文  参考訳（メタデータ） (2026-09-25T06:46:47Z)
• Archer: Adaptive Reuse of Cached Hidden States for Efficient Rollback in Diffusion Language Models [28.20034213862415]
  拡散言語モデル(DLM)は反復的にシーケンスを洗練し、コンテキストが進化するにつれて、以前の予測を修正できる。 更新毎にグローバルコンテキストが変更され、プロンプト状態とレスポンス状態の両方が再コンパイルされる。 効率的なロールバック(アーチャー)のための隠れた状態の適応的再利用について紹介する。 Archerは、ロールバック可能なDLMのためのトレーニング不要なKVキャッシュ手法である。
  論文  参考訳（メタデータ） (2026-08-08T12:13:10Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Raven: High-Recall Sequence Modeling with Sparse Memory Routing [88.47618436676748]
  メモリスロットの固定セットを維持する線形時間シーケンスモデルであるRavenを導入し、各ステップにおいて、学習された入力依存ルーティングによって選択されたサブセットのみを減衰・更新する。 リコール集約ベンチマーク全体では、Ravenは以前のリニアタイムベースラインと競合するか、より優れており、SWAとSSMの両方が大幅に低下する強いロングコンテキストリコールを実現している。
  論文  参考訳（メタデータ） (2026-07-28T07:04:32Z)
• KV-Fold: One-Step KV-Cache Recurrence for Long-Context Inference [9.84177443010824]
  KV-Foldは、キー値(KV)キャッシュを列チャンク上の左折り重なりのアキュムレータとして扱う、トレーニング不要な長文推論プロトコルである。 各ステップで、モデルは蓄積されたキャッシュに条件付けられた次のチャンクを処理し、新しく生成されたキーと値を付加し、拡張されたキャッシュを前方に渡す。 Llama-3.1-8Bでは、16Kから128Kのトークンのコンテキストにまたがる152のトライアルで100%の正確なマッチ検索を実現し、単一の40GB GPUのメモリ制限内に留まっている。
  論文  参考訳（メタデータ） (2026-05-12T17:53:47Z)
• Command-V: Pasting LLM Behaviors via Activation Profiles [67.07238260037839]
  Command-Vはバックプロパゲーションフリーな行動伝達法である。 既存の残留活性化アダプタをドナーモデルからコピーし、その効果を受信モデルに貼り付ける。
  論文  参考訳（メタデータ） (2025-06-23T21:21:49Z)
• On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
  大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。 まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。 本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
  論文  参考訳（メタデータ） (2025-06-11T01:25:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。