論文の概要: LearnedKV: Integrating LSM and Learned Index for Superior Performance on SSD

• arxiv url: http://arxiv.org/abs/2406.18892v1
• Date: Thu, 27 Jun 2024 05:08:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 15:17:37.517190
• Title: LearnedKV: Integrating LSM and Learned Index for Superior Performance on SSD
• Title（参考訳）: LearnedKV: SSD上での上位パフォーマンスのためのLSMとLearted Indexの統合
• Authors: Wenlong Wang, David Hung-Chang Du,
• Abstract要約: 本稿では,LSMツリーとLearted Indexをシームレスに統合した新しいキーバリューストアであるLeartedKVを紹介する。 以上の結果から,LeartedKVは読み出し要求の最大1.32倍,書き込み性能の最大1.31倍で,最先端のソリューションよりも優れていた。
• 参考スコア（独自算出の注目度）: 0.6774462529828165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce LearnedKV, a novel tiered key-value (KV) store that seamlessly integrates a Log-Structured Merge (LSM) tree with a Learned Index. This integration yields superior read and write performance compared to standalone indexing structures on SSDs. Our design capitalizes on the LSM tree's high write/update throughput and the Learned Index's fast read capabilities, enabling each component to leverage its strengths. We analyze the impact of size on LSM tree performance and demonstrate how the tiered Learned Index significantly mitigates the LSM tree's size-related performance degradation, particularly by reducing the intensive I/O operations resulting from re-insertions after Garbage Collection (GC). To maintain rapid read performance for newly inserted keys, we introduce a non-blocking conversion mechanism that efficiently transforms the existing LSM tree into a new Learned Index with minimal overhead during GC. Our experimental results, conducted across diverse workloads, show that LearnedKV outperforms state-of-the-art solutions by up to 1.32x in read requests and 1.31x in write performance.
• Abstract（参考訳）: 本稿では,LSMツリーとLearted Indexをシームレスに統合した新しいキーバリューストアであるLeartedKVを紹介する。 この統合により、SSD上のスタンドアロンのインデックス構造と比較して読み書き性能が向上する。 我々の設計は、LSMツリーの高書き込み/更新スループットとLearted Indexの高速読み出し機能を利用しており、各コンポーネントはその強度を活用できます。 本研究では, LSM木の大きさがLearted Indexに与える影響を解析し, LSM木の大きさ関連性能劣化を著しく軽減することを示す。 新たに挿入されたキーの高速読み出し性能を維持するために,既存のLSMツリーをGC中に最小限のオーバーヘッドで新しいLearted Indexに変換するノンブロッキング変換機構を導入する。 さまざまなワークロードで実施した実験結果から,LearnedKVは読み取り要求の最大1.32倍,書き込みパフォーマンスの1.31倍という最先端のソリューションよりも優れていた。

関連論文リスト

• Towards Scalable Semantic Representation for Recommendation [65.06144407288127]
  大規模言語モデル(LLM)に基づく意味的IDを構築するために、Mixture-of-Codesを提案する。 提案手法は,識別性と寸法の堅牢性に優れたスケーラビリティを実現し,提案手法で最高のスケールアップ性能を実現する。
  論文  参考訳（メタデータ） (2024-10-12T15:10:56Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Model Tells You Where to Merge: Adaptive KV Cache Merging for LLMs on Long-Context Tasks [21.815661269986425]
  KVMergerと呼ばれる新しいKVキャッシュマージ手法を提案し、長文タスクに対して適応的なKVキャッシュ圧縮を実現する。 我々のアプローチは、キー状態が1つのシーケンス内のトークンレベルで高い類似性を示すという興味深い観察にインスパイアされている。 我々は,制約メモリ予算下での長時間コンテキストタスクに対するKVMergerの有効性を示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-07-11T12:50:42Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
  本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,知識能力を向上させる新しい手法であるMemLLMを紹介する。 実験の結果,MemLLMは言語モデリング全般,特に言語モデルにおいて,性能と解釈可能性を向上させることが示唆された。 私たちは MemLLM を,メモリ拡張による LLM の基盤化と現実化に向けた重要なステップと捉えています。
  論文  参考訳（メタデータ） (2024-04-17T18:13:16Z)
• ChunkAttention: Efficient Self-Attention with Prefix-Aware KV Cache and Two-Phase Partition [3.659659889927316]
  ChunkAttentionは、大きな言語モデルのためのプレフィックス対応のセルフアテンションモジュールである。 複数のリクエストにまたがる一致したプロンプトプレフィックスを検出し、実行時にそのキー/値テンソルをメモリで共有する。 実験の結果、ChunkAttentionは最先端の実装と比較して、自己保持カーネルを3.2-4.8$times$で高速化できることがわかった。
  論文  参考訳（メタデータ） (2024-02-23T09:29:19Z)
• SubGen: Token Generation in Sublinear Time and Memory [48.35076900702408]
  大規模言語モデル(LLM)はトークン生成に広範なメモリ要件を持つ。 本研究では,KVキャッシュの効率的な圧縮手法の開発に焦点をあてる。 我々は,キートークンにオンラインクラスタリングを導入し,値に$ell$をサンプリングする,サブ線形複雑性を持つ新しいキャッシング手法を考案した。 このアルゴリズムは、サブリニアメモリフットプリントとサブリニアタイムの複雑さを保証するだけでなく、我々のアプローチに厳密なエラーを課す。
  論文  参考訳（メタデータ） (2024-02-08T22:17:40Z)
• Learning to Optimize LSM-trees: Towards A Reinforcement Learning based Key-Value Store for Dynamic Workloads [16.898360021759487]
  RusKeyは、以下の新機能を備えたキーバリューストアです。 RusKeyは、LSMツリー構造をオンラインでオーケストレーションする最初の試みである。 FLSMツリーと呼ばれる新しいLSMツリーは、異なるコンパクト化ポリシー間の効率的な移行を目的としている。
  論文  参考訳（メタデータ） (2023-08-14T09:00:58Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• From WiscKey to Bourbon: A Learned Index for Log-Structured Merge Trees [1.9003569830436575]
  BOURBONは、機械学習を利用して高速なルックアップを提供する、ログ構造化マージ(LSM)ツリーである。 BOURBONは、最先端のLSMと比較して、ルックアップ性能を1.23x-1.78x向上することを示す。
  論文  参考訳（メタデータ） (2020-05-28T18:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。