論文の概要: Chiron: Cache Management Empowered by LLM Intelligence for AI Workloads
- arxiv url: http://arxiv.org/abs/2611.06179v1
- Date: Wed, 04 Nov 2026 08:59:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.03428
- Title: Chiron: Cache Management Empowered by LLM Intelligence for AI Workloads
- Title(参考訳): Chiron: AIワークロードのためのLLMインテリジェンスを活用したキャッシュ管理
- Abstract要約: キャッシュは、そのプリフェッチとエビクションポリシーがアクセスパターンと一致する場合にのみ、よく機能する。
既存のメソッドは、ユーザの透明性を損なうようなコード変更を必要とするか、あるいはそのような変更に従わないローエンドを使う必要がある。
本稿では、アドバイザリスイッチング制御に基づくキャッシュシステムであるChironを紹介する。
- 参考スコア(独自算出の注目度): 12.727861462743201
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI clusters keep data in remote object stores and rely on local caches to stop GPUs from waiting for data. A cache performs well only when its prefetching and eviction policies match the access pattern, yet these patterns differ across AI workloads and change between phases of one workflow. Existing methods either need code changes, which compromises user transparency, or use low-end heuristics, which cannot follow such changes. Large language models (LLMs) can infer access behavior without user hints, but direct LLM control of cache actions suffers from long reasoning delay, high token cost, and poor decision quality. We present Chiron, a cache system based on advisory switching control. An LLM asynchronously diagnoses the access pattern and recommends a policy. A deterministic harness gates this advice, executes expert-designed policies locally, and returns cache feedback for review. We implement Chiron atop JuiceFS and evaluate it on nine AI workloads. It reduces job completion time by 14.3-41.2% over the best baseline on popular AI workloads.
- Abstract(参考訳): AIクラスタはデータをリモートオブジェクトストアに保持し、GPUがデータを待つのを防ぐためにローカルキャッシュに依存する。
キャッシュは、前処理と退避ポリシーがアクセスパターンと一致する場合にのみうまく機能するが、これらのパターンはAIワークロードと1つのワークフローのフェーズ間で異なる。
既存のメソッドは、ユーザの透明性を損なうコード変更を必要とするか、あるいはそのような変更に従わないローエンドヒューリスティックを使用するかのいずれかです。
大規模言語モデル(LLM)は、ユーザヒントなしでアクセス動作を推測できるが、キャッシュアクションの直接LLM制御は、長い推論遅延、高いトークンコスト、低い決定品質に悩まされる。
本稿では、アドバイザリスイッチング制御に基づくキャッシュシステムであるChironを紹介する。
LLMはアクセスパターンを非同期に診断し、ポリシーを推奨する。
決定論的ハーネスは、このアドバイスをゲートし、専門家が設計したポリシーをローカルに実行し、レビューのためにキャッシュフィードバックを返す。
我々は、JuiceFS上にChironを実装し、それを9つのAIワークロードで評価する。
一般的なAIワークロードの最高のベースラインよりも、ジョブ完了時間を14.3~41.2%短縮する。
関連論文リスト
- Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。
より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。
我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文 参考訳(メタデータ) (2026-07-30T02:42:51Z) - AgenticCache: Cache-Driven Asynchronous Planning for Embodied AI Agents [3.275342475988451]
実施中のAIエージェントは、計画のための大規模言語モデル(LLM)にますます依存しているが、ステップごとのLSMコールは、深刻なレイテンシとコストを課している。
AgenticCacheは、キャッシュされたプランを再利用し、ステップごとのLCM呼び出しを避けるためのフレームワークです。
AgenticCacheは12構成の平均的なタスク成功率を22%改善し、シミュレーション遅延を65%削減し、トークン使用率を50%削減する。
論文 参考訳(メタデータ) (2026-04-27T04:51:15Z) - CacheSolidarity: Preventing Prefix Caching Side Channels in Multi-tenant LLM Serving Systems [3.2128810211809196]
CacheSolidarityは、ユーザ間のキャッシュ再利用を監視し、不審な共有をフラグ化し、プレフィックスを選択的に分離する。
CacheSolidarityは最大70%高いキャッシュ再利用と30%低い推論遅延を可能にしている。
論文 参考訳(メタデータ) (2026-03-11T12:59:12Z) - LLM Cache Bandit Revisited: Addressing Query Heterogeneity for Cost-Effective LLM Inference [87.57291812372848]
我々は、最適なキャッシュ選択をknapsack問題として扱い、計算オーバーヘッドとキャッシュ更新のバランスをとるために蓄積ベースの戦略を用いる。
我々のアルゴリズムの後悔は$O(sqrtMNT)$boundを達成し、バークレーの$O(MNsqrtT)$と比較して$sqrtMN$の係数を改善することを証明している。
問題に依存したバウンダリも提供しています。
論文 参考訳(メタデータ) (2025-09-19T01:39:08Z) - Auditing Prompt Caching in Language Model APIs [77.02079451561718]
大規模言語モデル(LLM)における即時キャッシュによるプライバシリークについて検討する。
OpenAIを含む7つのAPIプロバイダのユーザ間でのグローバルキャッシュ共有を検出します。
OpenAIの埋め込みモデルがデコーダのみのトランスフォーマーであることの証拠が見つかりました。
論文 参考訳(メタデータ) (2025-02-11T18:58:04Z) - InputSnatch: Stealing Input in LLM Services via Timing Side-Channel Attacks [9.748438507132207]
大規模言語モデル (LLM) には広範な知識と質問応答能力がある。
キャッシュ共有メソッドは、キャッシュされた状態や、同じまたは同様の推論要求に対するレスポンスを再利用することで、効率を高めるために一般的に使用される。
LLMの推論において入力盗難を実行するための新しいタイミングベースのサイドチャネル攻撃を提案する。
論文 参考訳(メタデータ) (2024-11-27T10:14:38Z) - Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。
本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。
命令符号化では,キャッシュの重要性を評価するために周波数を利用する。
様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
論文 参考訳(メタデータ) (2024-07-25T15:29:05Z) - Accelerating Deep Learning Classification with Error-controlled
Approximate-key Caching [72.50506500576746]
我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。
近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。
我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
論文 参考訳(メタデータ) (2021-12-13T13:49:11Z) - An Imitation Learning Approach for Cache Replacement [23.03767134871606]
キャッシュアクセスパターンを自動的に学習するための模倣学習手法を提案する。
我々は過去のアクセスのみに条件付きポリシーを訓練し、多様な複雑なアクセスパターンでもベラディの情報を正確に近似する。
Parrotは、現在の最先端よりもキャッシュミス率を20%向上させる。
論文 参考訳(メタデータ) (2020-06-29T17:58:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。