論文の概要: Learning to Optimize LSM-trees: Towards A Reinforcement Learning based Key-Value Store for Dynamic Workloads

• arxiv url: http://arxiv.org/abs/2308.07013v2
• Date: Sun, 17 Sep 2023 08:55:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 22:36:29.726477
• Title: Learning to Optimize LSM-trees: Towards A Reinforcement Learning based Key-Value Store for Dynamic Workloads
• Title（参考訳）: LSMツリーを最適化する学習:動的ワークロードのための強化学習ベースのキーバリューストアを目指して
• Authors: Dingheng Mo, Fanchao Chen, Siqiang Luo, Caihua Shan
• Abstract要約: RusKeyは、以下の新機能を備えたキーバリューストアです。 RusKeyは、LSMツリー構造をオンラインでオーケストレーションする最初の試みである。 FLSMツリーと呼ばれる新しいLSMツリーは、異なるコンパクト化ポリシー間の効率的な移行を目的としている。
• 参考スコア（独自算出の注目度）: 16.898360021759487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LSM-trees are widely adopted as the storage backend of key-value stores. However, optimizing the system performance under dynamic workloads has not been sufficiently studied or evaluated in previous work. To fill the gap, we present RusKey, a key-value store with the following new features: (1) RusKey is a first attempt to orchestrate LSM-tree structures online to enable robust performance under the context of dynamic workloads; (2) RusKey is the first study to use Reinforcement Learning (RL) to guide LSM-tree transformations; (3) RusKey includes a new LSM-tree design, named FLSM-tree, for an efficient transition between different compaction policies -- the bottleneck of dynamic key-value stores. We justify the superiority of the new design with theoretical analysis; (4) RusKey requires no prior workload knowledge for system adjustment, in contrast to state-of-the-art techniques. Experiments show that RusKey exhibits strong performance robustness in diverse workloads, achieving up to 4x better end-to-end performance than the RocksDB system under various settings.
• Abstract（参考訳）: LSMツリーはキーバリューストアのストレージバックエンドとして広く採用されている。 しかしながら、動的ワークロード下でのシステムパフォーマンスの最適化は、前回の作業で十分な研究や評価を受けていない。 To fill the gap, we present RusKey, a key-value store with the following new features: (1) RusKey is a first attempt to orchestrate LSM-tree structures online to enable robust performance under the context of dynamic workloads; (2) RusKey is the first study to use Reinforcement Learning (RL) to guide LSM-tree transformations; (3) RusKey includes a new LSM-tree design, named FLSM-tree, for an efficient transition between different compaction policies -- the bottleneck of dynamic key-value stores. ruskeyは最先端の技術とは対照的に,システム調整のための事前のワークロード知識を必要としない。 RusKeyはさまざまなワークロードで強いパフォーマンスの堅牢性を示し、さまざまな設定でRocksDBシステムよりも最大4倍のエンドツーエンドパフォーマンスを実現している。

関連論文リスト

• CAMAL: Optimizing LSM-trees via Active Learning [21.859547644109085]
  機械学習を用いてLSMツリー構造を最適化し、様々な読み取り/書き込み操作の処理コストを削減する。 Camalを完全なシステムRocksDBに統合することにより,最先端のRocksDB設計と比較して,システムパフォーマンスが平均28%,最大8倍向上する。
  論文  参考訳（メタデータ） (2024-09-23T15:35:23Z)
• LearnedKV: Integrating LSM and Learned Index for Superior Performance on SSD [0.6774462529828165]
  本稿では,LSMツリーとLearted Indexをシームレスに統合した新しいキーバリューストアであるLeartedKVを紹介する。 以上の結果から,LeartedKVは読み出し要求の最大1.32倍,書き込み性能の最大1.31倍で,最先端のソリューションよりも優れていた。
  論文  参考訳（メタデータ） (2024-06-27T05:08:09Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)
• Continual Learning with Dynamic Sparse Training: Exploring Algorithms for Effective Model Updates [13.983410740333788]
  連続学習(英: Continual Learning, CL)とは、知的なシステムが、可能な限り計算オーバーヘッドの少ないデータストリームから、逐次的に知識を取得し、保持する能力である。 ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、これらのスパースネットワークを見つけ、タスクごとに分離する方法である。 本論文は,CLパラダイムの下で異なるDST成分の効果を検証した最初の実証的研究である。
  論文  参考訳（メタデータ） (2023-08-28T18:31:09Z)
• Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks [58.720142291102135]
  大規模な機械学習モデルは、幅広い分野に進歩をもたらしている。 これらのモデルの多くは、単一のマシンでトレーニングするには大きすぎるため、複数のデバイスに分散する必要がある。 スループットやブロッキングレートといったユーザクリティカルな指標に対して,並列化の最大化が準最適であることを示す。
  論文  参考訳（メタデータ） (2023-01-31T17:41:07Z)
• Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline Reinforcement Learning [114.36124979578896]
  オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。 我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
  論文  参考訳（メタデータ） (2022-05-05T05:44:26Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。