論文の概要: DumpKV: Learning based lifetime aware garbage collection for key value separation in LSM-tree

• arxiv url: http://arxiv.org/abs/2406.01250v1
• Date: Mon, 3 Jun 2024 12:07:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 01:09:07.046631
• Title: DumpKV: Learning based lifetime aware garbage collection for key value separation in LSM-tree
• Title（参考訳）: DumpKV:LSM木におけるキーバリュー分離のための学習型生涯意識型ガベージコレクション
• Authors: Zhutao Zhuang, Xinqi Zeng, Zhiguang Chen,
• Abstract要約: LSMツリーではキー値の分離が使われ、書き込み増幅を減らすためにログファイルに大きな値が格納される。 LSMツリーの既存のガベージコレクション技術は、通常、静的パラメータベースのガベージコレクションを採用して、低書き込み増幅を達成するのに苦労する古い値をガベージコレクションする。 DumpKVは、動的ライフタイム調整による学習に基づくライフタイムアウェアメントガベージコレクションを導入し、効率の良いガベージコレクションを実現し、ライトアンプリフィケーションを低くする。
• 参考スコア（独自算出の注目度）: 2.425100710403901
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Key\-value separation is used in LSM\-tree to stored large value in separate log files to reduce write amplification, but requires garbage collection to garbage collect invalid values. Existing garbage collection techniques in LSM\-tree typically adopt static parameter based garbage collection to garbage collect obsolete values which struggles to achieve low write amplification and it's challenging to find proper parameter for garbage collection triggering. In this work we introduce DumpKV, which introduces learning based lifetime aware garbage collection with dynamic lifetime adjustment to do efficient garbage collection to achieve lower write amplification. DumpKV manages large values using trained lightweight model with features suitable for various application based on past write access information of keys to give lifetime prediction for each individual key to enable efficient garbage collection. To reduce interference to write throughput DumpKV conducts feature collection during L0\-L1 compaction leveraging the fact that LSM\-tree is small under KV separation. Experimental results show that DumpKV achieves lower write amplification by 38\%\-73\% compared to existing key\-value separation garbage collection LSM\-tree stores with small feature storage overhead.
• Abstract（参考訳）: キー\-値分離は、書き込み増幅を減らすために別々のログファイルに大きな値を格納するためにLSM\-treeで使用されるが、ガベージコレクションは無効な値をガベージコレクションするために必要である。 LSM\-treeの既存のガベージコレクション技術は、通常、ガベージコレクションに静的パラメータベースのガベージコレクションを採用する。 DumpKVは、動的ライフタイム調整による学習に基づくライフタイムアウェアメントガベージコレクションを導入し、効率の良いガベージコレクションを実現し、ライトアンプリフィケーションを低くする。 DumpKVは、キーの過去の書き込みアクセス情報に基づいて、さまざまなアプリケーションに適した機能を備えたトレーニングされた軽量モデルを使用して大きな値を管理し、各キーの寿命予測を行い、効率的なガベージコレクションを実現する。 書き込みスループットに対する干渉を低減するため、DumpKVは、L0\-L1コンパクト化時に、LSM\-treeがKV分離下で小さいという事実を活用して特徴収集を行う。 実験結果から,DumpKVは従来のキー値分離ガベージコレクション LSM\-tree ストアと比較して,書き込み増幅率を 38 %\-73 % 低下させることがわかった。

関連論文リスト

• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)
• Class-Wise Buffer Management for Incremental Object Detection: An Effective Buffer Training Strategy [11.109975137910881]
  クラスインクリメンタル学習は、既存のモデルに目に見えないクラスインスタンスを継続的に追加する際に発生する問題を解決することを目的としている。 オブジェクト検出に最適化されたリプレイバッファを生成する効果的なバッファトレーニング戦略(eBTS)を導入する。
  論文  参考訳（メタデータ） (2023-12-14T17:10:09Z)
• COLO: A Contrastive Learning based Re-ranking Framework for One-Stage Summarization [84.70895015194188]
  コントラスト学習に基づく一段階要約フレームワークであるCOLOを提案する。 COLOはCNN/DailyMailベンチマークの1段階システムの抽出と抽象化結果を44.58と46.33ROUGE-1スコアに引き上げた。
  論文  参考訳（メタデータ） (2022-09-29T06:11:21Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• Semantically Constrained Memory Allocation (SCMA) for Embedding in Efficient Recommendation Systems [27.419109620575313]
  ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。 本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。 性能を維持しながらメモリフットプリントの大幅な削減を示す。
  論文  参考訳（メタデータ） (2021-02-24T19:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。