論文の概要: Nexus: Depth-Adaptive KV-Cache Splicing and Retrieval-Decoupled Tool Routing for Agentic LLMs on Unified Memory

• arxiv url: http://arxiv.org/abs/2608.20397v1
• Date: Wed, 01 Jul 2026 18:49:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.310874
• Title: Nexus: Depth-Adaptive KV-Cache Splicing and Retrieval-Decoupled Tool Routing for Agentic LLMs on Unified Memory
• Title（参考訳）: Nexus: 統一メモリ上のエージェントLLMのための深さ適応KVキャッシュスプリシングと検索分離ツールルーティング
• Abstract要約: ツールレジストリで、ルーティングをスキーマ準備コストから分離する方法を示します。 その結果生じる非回帰特性は、出力の忠実性を保証する(トップ-1 合意、D_KL 近似 0)。 2つの負の結果は、オフアンカーのRoPEフィデリティ境界と、ドリフトを予測するための基準フリードリフトゲートの失敗に結びついている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic large language models (LLMs) on the Model Context Protocol (MCP) re-encode verbose tool schemas every turn, so prefill - quadratic in sequence length - dominates time-to-first-token (TTFT) as the tool registry grows. Nexus's primary lever is to decouple routing from the schema-prefill cost: an INT8 semantic lookaside buffer (SLB) with a calibrated cross-encoder margin gate selects tools by retrieval, and arguments are generated over a compressed textual signature (median 19 tokens) rather than over spliced key/value (KV) cache. This path is depth-independent: routing accuracy stays near 89% as the registry scales to 250 tools - where a concatenate-all-schemas baseline overflows the context window entirely - and it reaches a first-argument token 1.66x sooner than a full-schema re-prefill at a ~80% main-context token saving. As a secondary, bounded lever we transplant a compiled schema KV block directly into the live context. This is fundamentally limited by rotary position embedding (RoPE) phase drift: an anchored splice is output-exact, but off-anchor placement corrupts attention, so beyond a threshold P=256 Nexus repairs the seam with a depth-adaptive suffix redecode that escalates to a full re-prefill. The resulting never-regress property is a guarantee on output fidelity (top-1 agreement, D_KL approx. 0) - not on latency, which can dip to 0.98x before converging to parity - alongside a 1.1-1.7x TTFT speedup at moderate depth that narrows to parity at deep context. Two negative results bound the design: the off-anchor RoPE fidelity boundary, and the failure of a reference-free drift gate to predict drift (Spearman rho = 0.193). All measurements are from one model tuple (Qwen2.5-14B-Instruct Q4_K_M) on Apple-silicon unified memory; the qualitative boundaries generalize, while the quantitative envelope is tuple-specific.
• Abstract（参考訳）: モデルコンテキストプロトコル(MCP)上のエージェント型大規模言語モデル(LLM)は、各ターンに冗長ツールスキーマを再エンコードするので、ツールレジストリが大きくなるにつれて、プリフィル(シーケンス長が2次)がTTFT(Time-to-first-token)を支配します。 IN8セマンティックルックアサイドバッファ(SLB)とキャリブレーションされたクロスエンコーダマージンゲートは、検索によってツールを選択し、スプリシングされたキー/バリュー(KV)キャッシュよりも圧縮されたテキストシグネチャ(中間19トークン)上で引数を生成する。 このパスは深さに依存しない - レジストリが250ツールにスケールするにつれて、ルーティングの精度は89%近く維持される — コンカナネート・オールスキーマのベースラインがコンテキストウィンドウを完全にオーバーフローする — そして、メインコンテキストトークンの保存の約80%で、フルスキーマの再準備よりも早く、最初の引数トークン1.66倍に到達している。 セカンダリな境界レバーとして、コンパイルされたスキーマKVブロックを直接ライブコンテキストに移植する。 これは基本的に回転位置埋め込み(RoPE)位相ドリフト(英語版)によって制限される:アンカー付きスプリスは出力エクササイズであるが、オフアンカー配置は注意を損なうため、しきい値 P=256 Nexus がシームを完全な再準備にエスカレートする深さ適応サフィックスで修復する。 出力の完全性(トップ-1 合意、D_KL approx.0)が保証され、パリティに収束する前に 0.98x まで減少し、深度が1.1-1.7x TTFT のスピードアップでパリティに狭まる。 2つの負の結果は、オフアンカーのRoPEフィデリティ境界と、ドリフトを予測する基準のないドリフトゲートの故障(スピアマンrho = 0.193)という設計に結びついている。 測定はすべてApple-シリコン統一メモリ上の1つのモデルタプル(Qwen2.5-14B-Instruct Q4_K_M)から行われ、定性境界は一般化され、定量エンベロープはタプル固有である。

関連論文リスト

• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• Memory-Managed Long-Context Attention: A Preliminary Study of Editable Request-Local Memory [0.5371337604556311]
  メモリ管理型長コンテキストアテンションは、高速なリカレントまたはスパースバックボーンを、明示的な編集可能な要求ローカルメモリスロットから分離する研究ルートである。 構造化された合成タスク、トークン/チャンク/シーケンスブリッジ、生成された自然言語、ローカル凍結モデル診断、純粋な固定状態または純粋なスパースメソッドは、オーバーライト、バージョン、アンチ汚染またはノーライト署名ケースを失敗する。
  論文  参考訳（メタデータ） (2026-06-27T11:38:43Z)
• Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing [65.59464371673623]
  Local Branch Routing (LBR)はトークンレベルのテストタイムスケーリングフレームワークである。 小さなローカルなルックアヘッドツリーを拡張し、言語モデルを通じてすべてのサンプルブランチを転送し、軽量ルータを使用してコミットするdeep-1サブツリーを選択する。 LBRにより、各トークン決定は、完全なソリューションレベルの検索を避けながら、ルート次トーケン分布を超えるエビデンスを使用することができる。
  論文  参考訳（メタデータ） (2026-06-24T03:42:44Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
  マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。 本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。 X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
  論文  参考訳（メタデータ） (2026-05-19T10:53:03Z)
• Delay-Adaptive Speculation Control for Low-Latency Edge-Cloud LLM Inference [20.720083078911486]
  分散エッジクラウドでは、ドラフトの長さをオンラインでコントロールする必要がある。 最適ドラフト長は有限遅延単調閾値であることを示す。 本手法は,Jetson Orin Nano Super edge nodeと3090 Ti Cloud nodeを用いて実エッジクラウドテストベッド上で実装する。
  論文  参考訳（メタデータ） (2026-05-17T07:15:30Z)
• CAWN: Continuous Acoustic Wave Networks for Autoregressive Language Modeling [46.16066322190728]
  完全連続配列混合アーキテクチャであるCAWN(Continuous Acoustic Wave Network)を導入する。 CAWNは離散行列ベースの注意を代わりに、多面体複素ドメインファサーに隠された状態を計画している。 超長コンテキスト上での信号劣化を防止するため,デュアルゲート選択位相共振機構を導入する。
  論文  参考訳（メタデータ） (2026-04-05T20:13:22Z)
• COMPACT: Common-token Optimized Model Pruning Across Channels and Tokens [8.846552276586918]
  プルーニングは有望な手法であるが、既存のプルーニング手法は限られている。 本研究では, (i) 埋め込み/LMヘッド層を縮小するために希少な語彙を併用し, (ii) 共通トケン重み付き活性化を用いたFFN中間チャネルをプルーするCompactを提案する。 Qwen、LLaMA、Gemmaファミリ(0.5B-70B)にわたる実験では、パラメータ、GPUメモリ、レイテンシを大幅に削減した最先端のダウンストリームのパフォーマンスが示されている。
  論文  参考訳（メタデータ） (2025-09-08T16:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。