論文の概要: LearnedKV: Integrating LSM and Learned Index for Superior Performance on Storage

• arxiv url: http://arxiv.org/abs/2406.18892v2
• Date: Fri, 11 Apr 2025 04:35:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:15:08.175010
• Title: LearnedKV: Integrating LSM and Learned Index for Superior Performance on Storage
• Title（参考訳）: LearnedKV: ストレージ上の上位パフォーマンスのためのLSMとLearted Indexの統合
• Authors: Wenlong Wang, David Hung-Chang Du,
• Abstract要約: 本稿では,Learned Index と Log-Structured Merge (LSM) ツリーをシームレスに統合して,ストレージシステム上での読み書き性能を向上する新しいキーバリューストアである LearnedKV を提案する。 我々の設計では, ガベージコレクションにおいて, LSMデータを効率よく学習指標に変換するノンブロッキング変換機構を備えており, 動作を中断することなく高い性能を維持することができる。
• 参考スコア（独自算出の注目度）: 0.6774462529828165
• License:
• Abstract: We present LearnedKV, a novel tiered key-value store that seamlessly integrates a Log-Structured Merge (LSM) tree with a Learned Index to achieve superior read and write performance on storage systems. While existing approaches use learned indexes primarily as auxiliary components within LSM trees, LearnedKV employs a two-tier design where the LSM tree handles recent write operations while a separate Learned Index accelerates read performance. Our design includes a non-blocking conversion mechanism that efficiently transforms LSM data into a Learned Index during garbage collection, maintaining high performance without interrupting operations. LearnedKV dramatically reduces LSM size through this tiered approach, leading to significant performance gains in both reads and writes. Extensive evaluations across diverse workloads show that LearnedKV outperforms state-of-the-art LSM-based solutions by up to 4.32x for read operations and 1.43x for writes. The system demonstrates robust performance across different data distributions, access patterns, and storage media including both SSDs and HDDs.
• Abstract（参考訳）: 本稿では,Learned Index と Log-Structured Merge (LSM) ツリーをシームレスに統合して,ストレージシステム上での読み書き性能を向上する新しいキーバリューストアである LearnedKV を提案する。 既存のアプローチでは、学習インデックスを主にLSMツリー内の補助的なコンポーネントとして使用していますが、LeartedKVでは、LSMツリーが最近の書き込み操作を処理し、Learted Indexが読み取りパフォーマンスを加速する2層設計を採用しています。 我々の設計では, ガベージコレクションにおいて, LSMデータを効率よく学習指標に変換し, 動作を中断することなく高い性能を維持するノンブロッキング変換機構を備えている。 LearnedKVは、この階層化アプローチによってLSMサイズを劇的に削減し、読み取りと書き込みの両方で大幅なパフォーマンス向上を実現している。 さまざまなワークロードにわたる大規模な評価によると、LeartedKVは、読み取り操作で4.32倍、書き込みで1.43倍まで、最先端のSMベースのソリューションを上回っている。 このシステムは、SSDとHDDの両方を含むさまざまなデータ分散、アクセスパターン、ストレージメディアにまたがる堅牢なパフォーマンスを示す。

関連論文リスト

• LSM Trees in Adversarial Environments [0.0]
  我々は、読み取り性能の大幅な低下につながる敵のワークロードに焦点を当てる。 我々の評価では、人気のあるLSMストアの読み込み遅延を最大800%まで増加させています。 私たちは、LevelDBとRocksDBという2つの人気のあるLSMストアに逆レジリエンスを実装しています。
  論文  参考訳（メタデータ） (2025-02-12T22:45:46Z)
• DobLIX: A Dual-Objective Learned Index for Log-Structured Merge Trees [4.077820670802213]
  DobLIXは、Log-Structured Merge(LSM)ツリーベースのキーバリューストア用に特別に設計された、二重目的学習インデックスである。 DobLIXは,RocksDBの最先端手法と比較して,インデックスのオーバーヘッドを低減し,スループットを1.19倍から2.21倍に向上することを示す。
  論文  参考訳（メタデータ） (2025-02-07T22:48:14Z)
• TreeKV: Smooth Key-Value Cache Compression with Tree Structures [19.06842704338332]
  TreeKVは、スムーズなキャッシュ圧縮のためにツリー構造を利用するトレーニング不要の手法である。 PG19とOpenWebText2の言語モデリングタスクのベースラインモデルを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-01-09T06:00:27Z)
• CSR:Achieving 1 Bit Key-Value Cache via Sparse Representation [63.65323577445951]
  キャッシュスパース表現(CSR)と呼ばれる新しい手法を提案する。 CSRは、密度の高いKey-Valueキャッシュテンソルをスパースインデックスとウェイトに変換し、LLM推論中によりメモリ効率のよい表現を提供する。 我々の実験は、CSRが最先端KVキャッシュ量子化アルゴリズムに匹敵する性能を達成することを示した。
  論文  参考訳（メタデータ） (2024-12-16T13:01:53Z)
• Towards Scalable Semantic Representation for Recommendation [65.06144407288127]
  大規模言語モデル(LLM)に基づく意味的IDを構築するために、Mixture-of-Codesを提案する。 提案手法は,識別性と寸法の堅牢性に優れたスケーラビリティを実現し,提案手法で最高のスケールアップ性能を実現する。
  論文  参考訳（メタデータ） (2024-10-12T15:10:56Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• ChunkAttention: Efficient Self-Attention with Prefix-Aware KV Cache and Two-Phase Partition [3.659659889927316]
  ChunkAttentionは、大きな言語モデルのためのプレフィックス対応のセルフアテンションモジュールである。 複数のリクエストにまたがる一致したプロンプトプレフィックスを検出し、実行時にそのキー/値テンソルをメモリで共有する。 実験の結果、ChunkAttentionは最先端の実装と比較して、自己保持カーネルを3.2-4.8$times$で高速化できることがわかった。
  論文  参考訳（メタデータ） (2024-02-23T09:29:19Z)
• SubGen: Token Generation in Sublinear Time and Memory [48.35076900702408]
  大規模言語モデル(LLM)はトークン生成に広範なメモリ要件を持つ。 本研究では,KVキャッシュの効率的な圧縮手法の開発に焦点をあてる。 我々は,キートークンにオンラインクラスタリングを導入し,値に$ell$をサンプリングする,サブ線形複雑性を持つ新しいキャッシング手法を考案した。 このアルゴリズムは、サブリニアメモリフットプリントとサブリニアタイムの複雑さを保証するだけでなく、我々のアプローチに厳密なエラーを課す。
  論文  参考訳（メタデータ） (2024-02-08T22:17:40Z)
• Learning to Optimize LSM-trees: Towards A Reinforcement Learning based Key-Value Store for Dynamic Workloads [16.898360021759487]
  RusKeyは、以下の新機能を備えたキーバリューストアです。 RusKeyは、LSMツリー構造をオンラインでオーケストレーションする最初の試みである。 FLSMツリーと呼ばれる新しいLSMツリーは、異なるコンパクト化ポリシー間の効率的な移行を目的としている。
  論文  参考訳（メタデータ） (2023-08-14T09:00:58Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。