論文の概要: DobLIX: A Dual-Objective Learned Index for Log-Structured Merge Trees

• arxiv url: http://arxiv.org/abs/2502.05369v1
• Date: Fri, 07 Feb 2025 22:48:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:29:16.482879
• Title: DobLIX: A Dual-Objective Learned Index for Log-Structured Merge Trees
• Title（参考訳）: DobLIX: ログ構造化されたマージツリーのための2目的学習インデックス
• Authors: Alireza Heidari, Amirhossein Ahmadi, Wei Zhang,
• Abstract要約: DobLIXは、Log-Structured Merge(LSM)ツリーベースのキーバリューストア用に特別に設計された、二重目的学習インデックスである。 DobLIXは,RocksDBの最先端手法と比較して,インデックスのオーバーヘッドを低減し,スループットを1.19倍から2.21倍に向上することを示す。
• 参考スコア（独自算出の注目度）: 4.077820670802213
• License:
• Abstract: In this paper, we introduce DobLIX, a dual-objective learned index specifically designed for Log-Structured Merge(LSM) tree-based key-value stores. Although traditional learned indexes focus exclusively on optimizing index lookups, they often overlook the impact of data access from storage, resulting in performance bottlenecks. DobLIX addresses this by incorporating a second objective, data access optimization, into the learned index training process. This dual-objective approach ensures that both index lookup efficiency and data access costs are minimized, leading to significant improvements in read performance while maintaining write efficiency in real-world LSM-tree systems. Additionally, DobLIX features a reinforcement learning agent that dynamically tunes the system parameters, allowing it to adapt to varying workloads in real-time. Experimental results using real-world datasets demonstrate that DobLIX reduces indexing overhead and improves throughput by 1.19 to 2.21 times compared to state-of-the-art methods within RocksDB, a widely used LSM-tree-based storage engine.
• Abstract（参考訳）: 本稿では,LSM(Log-Structured Merge)ツリーベースキーバリューストアに特化して設計された,二重目的学習インデックスであるDobLIXを紹介する。 従来の学習インデックスはインデックスのルックアップを最適化することだけに重点を置いているが、ストレージからのデータアクセスの影響を見落とし、パフォーマンスのボトルネックとなることが多い。 DobLIXは2つ目の目標であるデータアクセス最適化を学習されたインデックストレーニングプロセスに組み込むことで、この問題に対処する。 この二重目的アプローチにより、インデックス検索効率とデータアクセスコストが最小化され、実際のLSMツリーシステムの書き込み効率を維持しながら、読み取り性能が大幅に向上する。 さらに、DobLIXはシステムパラメータを動的にチューニングする強化学習エージェントを備えており、リアルタイムでさまざまなワークロードに適応することができる。 実世界のデータセットを用いた実験結果から、DobLIXはインデックスのオーバーヘッドを減らし、LSMツリーベースのストレージエンジンであるRocksDBの最先端の手法と比較してスループットを1.19倍から2.21倍改善することが示された。

関連論文リスト

• Clear Minds Think Alike: What Makes LLM Fine-tuning Robust? A Study of Token Perplexity [61.48338027901318]
  LLM生成データによる微調整により,目標タスク性能が向上し,ドメイン外劣化の低減が図られる。 LLM生成トレーニングデータによって与えられる優れたOODロバスト性について、これが最初の力学的説明である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Efficient $k$-NN Search in IoT Data: Overlap Optimization in Tree-Based Indexing Structures [0.6990493129893112]
  IoT(Internet of Things)における相互接続デバイスの普及は、データの指数的な増加につながった。 この異種データの効率的な検索には、効果的な組織のための堅牢な索引付け機構が必要である。 データ空間分割の重複を定量化し、戦略的に低減する3つの革新的手法を提案する。
  論文  参考訳（メタデータ） (2024-08-28T16:16:55Z)
• LearnedKV: Integrating LSM and Learned Index for Superior Performance on SSD [0.6774462529828165]
  本稿では,LSMツリーとLearted Indexをシームレスに統合した新しいキーバリューストアであるLeartedKVを紹介する。 以上の結果から,LeartedKVは読み出し要求の最大1.32倍,書き込み性能の最大1.31倍で,最先端のソリューションよりも優れていた。
  論文  参考訳（メタデータ） (2024-06-27T05:08:09Z)
• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• Bidirectional Trained Tree-Structured Decoder for Handwritten Mathematical Expression Recognition [51.66383337087724]
  Handwriting Mathematical Expression Recognition (HMER) タスクは、OCRの分野における重要な分岐である。 近年の研究では、双方向コンテキスト情報の導入により、HMERモデルの性能が大幅に向上することが示されている。 本稿では,MF-SLT と双方向非同期トレーニング (BAT) 構造を提案する。
  論文  参考訳（メタデータ） (2023-12-31T09:24:21Z)
• Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
  この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。 我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。 NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
  論文  参考訳（メタデータ） (2023-12-21T02:48:44Z)
• Constructing Tree-based Index for Efficient and Effective Dense Retrieval [26.706985694158384]
  JTRは、TReeベースのインデックスとクエリエンコーディングの合同最適化の略である。 我々は、木に基づくインデックスとクエリエンコーダをエンドツーエンドにトレーニングするために、新しい統合されたコントラスト学習損失を設計する。 実験結果から,JTRは高いシステム効率を維持しつつ,検索性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-04-24T09:25:39Z)
• A Learned Index for Exact Similarity Search in Metric Spaces [25.330353637669386]
  LIMSは、学習したインデックスを構築するために、データクラスタリングとピボットベースのデータ変換技術を使用することが提案されている。 機械学習モデルはディスク上の各データレコードの位置を近似するために開発された。 実世界のデータセットと合成データセットに関する大規模な実験は、従来の指標と比較してLIMSの優位性を示している。
  論文  参考訳（メタデータ） (2022-04-21T11:24:55Z)
• A Pluggable Learned Index Method via Sampling and Gap Insertion [48.900186573181735]
  データベースインデックスは、データ検索を促進し、現実世界のシステムにおける幅広いアプリケーションに役立つ。 近年,隠れて有用なデータ分布を学習するために,learning indexという新しいインデックスが提案されている。 学習指標の学習効率と学習効率を高めるための2つの一般的なテクニックとプラグイン可能なテクニックを研究します。
  論文  参考訳（メタデータ） (2021-01-04T07:17:23Z)
• COAX: Correlation-Aware Indexing on Multidimensional Data with Soft Functional Dependencies [3.670422696827525]
  データセットの属性間の相関関係を学習する多次元データのための学習指標であるCOAXを提案する。 実験により,データ中の関連属性を予測することにより,クエリ実行時間を短縮し,インデックスのメモリオーバーヘッドを低減することができることがわかった。
  論文  参考訳（メタデータ） (2020-06-29T21:22:15Z)
• RadixSpline: A Single-Pass Learned Index [84.84747738666263]
  RadixSpline(RS)は、データに1回のパスで構築できる学習インデックスです。 RSは2つのパラメータしか持たないにもかかわらず、すべてのデータセットで競合的な結果を達成する。
  論文  参考訳（メタデータ） (2020-04-30T01:56:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。