論文の概要: ACCT: Asymmetric Cross-LLM Context Transfer

• arxiv url: http://arxiv.org/abs/2610.42116v1
• Date: Fri, 30 Oct 2026 17:50:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.86134
• Title: ACCT: Asymmetric Cross-LLM Context Transfer
• Title（参考訳）: ACCT: Asymmetric Cross-LLM Context Transfer
• Abstract要約: ACCT(Asymmetric Cross-LLM Context Transfer)は、同じモデルファミリー内の異なるスケールのモデル間のKVキャッシュ転送をターゲットとする。 ACCTは、ソースモデルによって生成されたKVキャッシュを、ターゲットモデルによって直接消費できるスパースKV状態に変換する。 実験により、ACCTは、KVキャッシュサイズを75%削減しても、ターゲットモデルの元々の推論性能に一致または超えることを示した。
• 参考スコア（独自算出の注目度）: 4.542360496044944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In real-world deployments, large language model (LLM) systems are increasingly evolving from single-model invocation toward heterogeneous deployments in which different models are dynamically invoked for inference. When the same context is reused across models, however, each newly selected target model typically has to process it again, repeatedly incurring substantial computational costs. Therefore, we propose ACCT (Asymmetric Cross-LLM Context Transfer), which targets KV cache transfer between models of different scales within the same model family. ACCT transforms the KV cache produced by a source model into sparse KV states that can be directly consumed by a target model, thereby enabling cross-model reuse of context computation and decoupling context computation from downstream inference. ACCT consists of three lightweight components: the Cartographer identifies query-relevant context tokens for each target layer and KV head; the Allocator determines how many context tokens each target layer and KV head retains under a shared total KV budget; and the Compiler transforms selected source KV into sparse target KV. The target model can therefore perform inference using the transferred KV without reprocessing the original context. We evaluate ACCT in two complementary settings comprising five general-capability benchmarks and six highly context-dependent tasks. Experiments show that ACCT matches or exceeds the target model's original inference performance even when reducing the KV cache size by 75%. At a context length of approximately 19K tokens, ACCT's KV conversion achieves a 6.5-21.2 times speedup over target context prefill. These results demonstrate the feasibility of transferring context computation across models under a limited KV budget.
• Abstract（参考訳）: 現実のデプロイメントでは、大規模言語モデル(LLM)システムは、単一のモデル呼び出しから、異なるモデルが推論のために動的に呼び出される異種デプロイメントへと、ますます進化している。 しかし、同じコンテキストがモデル間で再利用される場合、新しく選択された各ターゲットモデルは通常それを再度処理し、かなりの計算コストを繰り返し発生させる。 そこで本研究では,異なるスケールのモデル間のKVキャッシュ転送を対象とするACCT(Asymmetric Cross-LLM Context Transfer)を提案する。 ACCTは、ソースモデルによって生成されたKVキャッシュを、ターゲットモデルによって直接消費できるスパースKVステートに変換することにより、コンテキスト計算のクロスモデル再利用と、下流推論からのコンテキスト計算の分離を可能にする。 ACCTは、3つの軽量コンポーネントで構成されている: Cartographerは、各ターゲット層とKVヘッドのクエリ関連コンテキストトークンを識別し、Allocatorは、各ターゲット層とKVヘッドが共有された合計KV予算の下で保持するコンテキストトークン数を決定し、Compilerは選択したソースKVをスパースターゲットKVに変換する。 したがって、ターゲットモデルは、元のコンテキストを再処理することなく、転送されたKVを使って推論を行うことができる。 我々は5つの汎用性ベンチマークと6つのコンテキスト依存タスクからなる2つの補完的な設定でACCTを評価する。 実験により、ACCTは、KVキャッシュサイズを75%削減しても、ターゲットモデルの元々の推論性能に一致または超えることを示した。 約19Kトークンのコンテキスト長において、ACCTのKV変換は、ターゲットコンテキストプリフィルよりも6.5-21.2倍のスピードアップを達成する。 これらの結果は、限られたKV予算の下で、モデル間でコンテキスト計算を転送可能であることを示す。

関連論文リスト

• KV Cache Quantization for Diffusion Language Models [63.008471985859444]
  拡散言語モデル(dLLMs)は、KVキャッシュ量子化が主にキャッシュ再構成問題であるという仮定を破る。 高速なdLLM推論は、デノナイジングステップ全体でKV状態を再利用するが、マスクされたトークンが明らかになれば、双方向のトークン表現が変更できる。 我々は、KIVIとKVQuantをFast-dLLMスタイルのプレフィックスとデュアルキャッシュの再利用に適用し、TRACEとdLLM-KVQを導入する。
  論文  参考訳（メタデータ） (2026-10-29T11:31:41Z)
• WithinVAE: Compact Visual Autoencoding with Self-Distilled Semantics [80.96906059982237]
  本研究では,自己エンコーダの自己再構成表現の内部で意味構造が学習可能であることを示す。 内部VAEは、連続的なボトルネックを持つコンパクトな変分視覚オートエンコーダである。
  論文  参考訳（メタデータ） (2026-10-27T03:53:31Z)
• KV-Lingo: Learning KV-Cache Translators with Distillation [29.441743863780136]
  KV-Lingoは、ソースモデルのKVキャッシュをターゲットモデルで読み取ることのできるキャッシュに変換する方法である。 蒸留を用いてこれらのマップをトレーニングし、ターゲットモデルの予測と翻訳されたキャッシュとのばらつきを最小化する。
  論文  参考訳（メタデータ） (2026-09-26T13:34:19Z)
• A Universal Context-Reuse Layer for Cross-Model KV Sharing [7.914652203965336]
  我々は、ソースモデルによって生成されたKV状態を異なるターゲットモデルによって消費される表現に変換するエンフクロスモデルKV共有について検討する。 Qwen2.5-7B$rightarrow$ Qwen2.5-1.5Bの場合、翻訳されたKV状態はLongBench2の精度を27.59%から34.48%に改善し、ネイティブ1.5Bベースラインよりも6.89ポイント向上した。 クロスファミリーQwen2.5-1.5B$rightarrow$ Gemma-2-2B設定の場合、KVハンドオフは目標側のプリフィルコストを削減します。
  論文  参考訳（メタデータ） (2026-08-31T15:28:17Z)
• VLA-ATTC: Adaptive Test-Time Compute for VLA Models with Relative Action Critic Model [54.35791816657227]
  適応型テスト時間計算でVLAモデルを実現するフレームワークである textbfVLA-ATTC' を導入する。 VLA-ATTCは、不確実性に基づく認知クラッチ'を用いて、反射的実行からTTC熟考フェーズへ動的に移行する。 LIBERO-LONGベンチマークでは、VLA-ATTCはSOTAモデルPI0.5の故障率を50%以上削減する。
  論文  参考訳（メタデータ） (2026-05-02T02:13:11Z)
• KV-CAR: KV Cache Compression using Autoencoders and KV Reuse in Large Language Models [3.5171501100868876]
  KVキャッシュはシーケンス長と埋め込み次元で成長し、しばしばモデル自体のメモリフットプリントを超える。 KV CARは,モデル忠実性を維持しつつ,KVキャッシュストレージを大幅に削減する,統一的で非依存なアーキテクチャフレームワークである。 Wikitext、C4、PIQA、WinograndeデータセットにわたるGPT 2とTinyLLaMAモデルの評価は、KV CARが最大47.85パーセントのKVキャッシュメモリ削減を達成したことを示している。
  論文  参考訳（メタデータ） (2025-12-07T08:40:52Z)
• Cost-Sensitive Evaluation for Binary Classifiers [0.013048920509133805]
  重み付き精度(英: Weighted Accuracy, WA)は、よく知られた精度の計量の重み付きバージョンとして、直接解釈されたバイナリ分類器の評価指標である。 コスト依存シナリオにおけるクラス不均衡を扱うための概念的枠組みを明らかにする。
  論文  参考訳（メタデータ） (2025-10-24T20:34:18Z)
• Streamlining the Collaborative Chain of Models into A Single Forward Pass in Generation-Based Tasks [13.254837575157786]
  Retrieval-Augmented Generation(RAG)やエージェントベースのフレームワークでは、"Chain of Models"アプローチが広く使われている。 最近の進歩は、複数のタスクに適応する共有ベースモデルを可能にするプロンプトチューニングを適用することで、この問題に対処しようとしている。 本稿では,隠れ状態の共有を可能にする新しいプロンプトチューニング手法であるFTHSSを紹介する。
  論文  参考訳（メタデータ） (2025-02-16T11:37:14Z)
• Tensor Product Attention Is All You Need [61.3442269053374]
  プロダクトアテンション(TPA)は、テンソル分解を使用してクエリ、キー、値をコンパクトに表現する新しいアテンションメカニズムである。 TPAは、メモリ効率とともに改善されたモデル品質を実現する。 TPAに基づいて,シーケンスモデリングのための新しいモデルアーキテクチャであるProducT ATTion Transformer (T6)を紹介する。
  論文  参考訳（メタデータ） (2025-01-11T03:37:10Z)
• LoCoCo: Dropping In Convolutions for Long Context Compression [77.26610232994508]
  本稿では,Long Context Compression(LoCoCo)のための新しいアプローチであるDropping In Convolutionsを提案する。 LoCoCoは、固定サイズキーバリュー(KV)キャッシュのみを使用し、推論と微調整の両方のステージで効率を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-08T01:35:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。