論文の概要: LQoCo: Learning to Optimize Cache Capacity Overloading in Storage
Systems
- arxiv url: http://arxiv.org/abs/2203.13678v1
- Date: Mon, 21 Mar 2022 13:53:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-03 17:48:27.675044
- Title: LQoCo: Learning to Optimize Cache Capacity Overloading in Storage
Systems
- Title(参考訳): LQoCo: ストレージシステムのキャッシュ容量オーバーロードを最適化する学習
- Authors: Ji Zhang, Xijun Li, Xiyao Zhou, Mingxuan Yuan, Zhuo Cheng, Keji Huang,
Yifan Li
- Abstract要約: キャッシュはストレージシステムにおけるハイパフォーマンスと安定したパフォーマンスを維持する上で重要な役割を担います。
既存のルールベースのキャッシュ管理メソッドは、エンジニアの手動構成と相まって、頻繁にキャッシュをオーバーロードする。
キャッシュ帯域幅を適応的に制御できるLQoCoという,軽量な学習ベースのキャッシュ帯域幅制御手法を提案する。
- 参考スコア(独自算出の注目度): 17.49411699184401
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Cache plays an important role to maintain high and stable performance (i.e.
high throughput, low tail latency and throughput jitter) in storage systems.
Existing rule-based cache management methods, coupled with engineers' manual
configurations, cannot meet ever-growing requirements of both time-varying
workloads and complex storage systems, leading to frequent cache overloading.
In this paper, we for the first time propose a light-weight learning-based
cache bandwidth control technique, called \LQoCo which can adaptively control
the cache bandwidth so as to effectively prevent cache overloading in storage
systems. Extensive experiments with various workloads on real systems show that
LQoCo, with its strong adaptability and fast learning ability, can adapt to
various workloads to effectively control cache bandwidth, thereby significantly
improving the storage performance (e.g. increasing the throughput by 10\%-20\%
and reducing the throughput jitter and tail latency by 2X-6X and 1.5X-4X,
respectively, compared with two representative rule-based methods).
- Abstract(参考訳): キャッシュは、ストレージシステムにおけるハイパフォーマンス(高スループット、低テールレイテンシ、スループットジッタ)を維持する上で重要な役割を果たす。
既存のルールベースのキャッシュ管理メソッドは、エンジニアの手動設定と組み合わせることで、時間を要するワークロードと複雑なストレージシステムの両方の要求を常に満たせないため、キャッシュのオーバーロードが頻繁に発生する。
本稿では,ストレージシステムにおけるキャッシュ過負荷を効果的に防止するために,キャッシュ帯域幅を適応的に制御できる軽量学習ベースのキャッシュ帯域幅制御技術である \LQoCo を提案する。
実システム上での様々なワークロードによる大規模な実験により、LQoCoは強力な適応性と高速学習能力を持つため、様々なワークロードに適応してキャッシュ帯域を効果的に制御し、ストレージ性能を大幅に向上させることができる(例えば、スループットを10\%-20\%向上し、スループットジッタとテールレイテンシを2X-6Xと1.5X-4Xで削減するなど)。
関連論文リスト
- Get More with LESS: Synthesizing Recurrence with KV Cache Compression
for Efficient LLM Inference [83.34219335496073]
我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。
既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。
本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
論文 参考訳(メタデータ) (2024-02-14T18:54:56Z) - A Learning-Based Caching Mechanism for Edge Content Delivery [2.7110241847592915]
5GネットワークとIoT(Internet of Things)の台頭により、ネットワークのエッジはますます拡大している。
このシフトは、特に限られたキャッシュストレージとエッジにおける多様な要求パターンのために、ユニークな課題をもたらす。
HR-Cacheは、ハザードレート(HR)順序付けの原則に基づく学習ベースのキャッシュフレームワークである。
論文 参考訳(メタデータ) (2024-02-05T08:06:03Z) - KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [70.90551156819498]
大規模言語モデル(LLM)は、要求毎のコストを削減するために、多くのリクエストを一緒に要求する。
キー値(KV)キャッシュはメモリ要求を大幅に増加させ、スピードとメモリ使用における新たなボトルネックとなる。
KVキャッシュサイズを減らすための単純で効果的な解決策は量子化であり、KVキャッシュが取る全バイトを削減する。
KIVIは、Llama (Llama-2)、Falcon、Mistralモデルとほぼ同じ品質を維持しながら、$mathbf2.6times$のピークメモリ使用量を減らすことができる。
論文 参考訳(メタデータ) (2024-02-05T06:06:47Z) - CacheGen: Fast Context Loading for Language Model Applications via KV Cache Streaming [31.766738294505767]
CacheGenは、大きな言語モデル(LLM)のための高速なコンテキストローディングモジュールである
KVキャッシュを符号化/復号のオーバーヘッドを無視して、よりコンパクトなビットストリーム表現にエンコードする。
ストリーミング戦略を適用して、利用可能な帯域幅の変化に対処する。
論文 参考訳(メタデータ) (2023-10-11T07:08:20Z) - Beamforming in Wireless Coded-Caching Systems [7.799363090534322]
本稿では,ビームフォーミングと符号化キャッシュ戦略を統合した無線トランスポートネットワークアーキテクチャについて検討する。
提案した設計では,複数のアンテナを備えたサーバが,ユーザのサービスを担当するキャッシュノードにコンテンツをブロードキャストする。
符号化キャッシングシステムにおいて,効率的な遺伝的アルゴリズムに基づくビーム最適化手法を開発した。
論文 参考訳(メタデータ) (2023-09-11T07:21:57Z) - Accelerating Deep Learning Classification with Error-controlled
Approximate-key Caching [72.50506500576746]
我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。
近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。
我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
論文 参考訳(メタデータ) (2021-12-13T13:49:11Z) - Fast Class-wise Updating for Online Hashing [196.14748396106955]
本稿では,FCOH(Fast Class-wise Updating for Online Hashing)と呼ばれる新しいオンラインハッシュ方式を提案する。
クラスワイズ更新法は、バイナリコード学習を分解し、代わりにクラスワイズ方式でハッシュ関数を更新する。
オンラインの効率をより高めるために,異なるバイナリ制約を独立に扱うことで,オンライントレーニングを高速化する半緩和最適化を提案する。
論文 参考訳(メタデータ) (2020-12-01T07:41:54Z) - Phoebe: Reuse-Aware Online Caching with Reinforcement Learning for
Emerging Storage Models [8.932281655601495]
Phoebeは、最適なオンラインキャッシュのための再利用対応強化学習フレームワークである。
実験の結果,PhoebeはLRUと最先端のオンライン学習ベースのキャッシュポリシとのキャッシュミス率のギャップを埋めることができた。
論文 参考訳(メタデータ) (2020-11-13T22:55:15Z) - Reinforcement Learning for Caching with Space-Time Popularity Dynamics [61.55827760294755]
キャッシングは次世代ネットワークにおいて重要な役割を果たすと想定されている。
コンテンツをインテリジェントにプリフェッチし、保存するためには、キャッシュノードは、何といつキャッシュするかを学ばなければならない。
本章では、近似キャッシングポリシー設計のための多目的強化学習に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2020-05-19T01:23:51Z) - A Non-Stationary Bandit-Learning Approach to Energy-Efficient
Femto-Caching with Rateless-Coded Transmission [98.47527781626161]
小セルネットワークにおける共同キャッシュと送信のためのリソース割り当て問題について検討する。
次に、各放送ラウンドの送信電力レベルとともに、キャッシュからファイルを選択するという問題を定式化する。
最先端の研究とは対照的に、提案手法は時変統計特性を持つネットワークに特に適している。
論文 参考訳(メタデータ) (2020-04-13T09:07:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。