論文の概要: UpLIF: An Updatable Self-Tuning Learned Index Framework

• arxiv url: http://arxiv.org/abs/2408.04113v1
• Date: Wed, 7 Aug 2024 22:30:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 17:10:20.220286
• Title: UpLIF: An Updatable Self-Tuning Learned Index Framework
• Title（参考訳）: UpLIF: アップグレード可能なセルフチューニング学習インデックスフレームワーク
• Authors: Alireza Heidari, Amirhossein Ahmadi, Wei Zhang,
• Abstract要約: UpLIFは、入ってくる更新に対応するようにモデルを調整した適応的な自己チューニング学習インデックスである。 また、モデル固有の特性を決定するバランスモデル調整の概念も導入する。
• 参考スコア（独自算出の注目度）: 4.077820670802213
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The emergence of learned indexes has caused a paradigm shift in our perception of indexing by considering indexes as predictive models that estimate keys' positions within a data set, resulting in notable improvements in key search efficiency and index size reduction; however, a significant challenge inherent in learned index modeling is its constrained support for update operations, necessitated by the requirement for a fixed distribution of records. Previous studies have proposed various approaches to address this issue with the drawback of high overhead due to multiple model retraining. In this paper, we present UpLIF, an adaptive self-tuning learned index that adjusts the model to accommodate incoming updates, predicts the distribution of updates for performance improvement, and optimizes its index structure using reinforcement learning. We also introduce the concept of balanced model adjustment, which determines the model's inherent properties (i.e. bias and variance), enabling the integration of these factors into the existing index model without the need for retraining with new data. Our comprehensive experiments show that the system surpasses state-of-the-art indexing solutions (both traditional and ML-based), achieving an increase in throughput of up to 3.12 times with 1000 times less memory usage.
• Abstract（参考訳）: 学習インデックスの出現は、データセット内のキーの位置を推定する予測モデルとしてインデックスを考慮し、インデックスの認識のパラダイムシフトを引き起こし、キー検索効率とインデックスサイズ削減の顕著な改善をもたらしたが、学習インデックスモデリングに固有の重要な課題は、レコードの固定分布の要求によって必要となる更新操作に対する制限付きサポートである。 従来の研究では、複数のモデル再訓練による高いオーバーヘッドの欠点に対処する様々な手法が提案されている。 本稿では,適応型自己学習学習インデックスであるUpLIFを提案する。これは,入ってくる更新に対応するようにモデルを調整し,性能改善のための更新の分布を予測し,強化学習を用いてインデックス構造を最適化する。 また、モデル固有の特性(バイアスや分散など)を決定するバランスモデル調整の概念を導入し、新しいデータで再トレーニングすることなく、これらの因子を既存のインデックスモデルに統合することを可能にする。 我々の総合的な実験によると、システムは最先端のインデックスソリューション(従来のMLベースとMLベースの両方)を超越し、1000倍のメモリ使用量で最大3.12倍のスループットを実現している。

関連論文リスト

• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 本稿では,テキスト・インフルエンス・ファンクション・フレームワークを開発することにより,このような課題に対処することを目的とする。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• Accelerating String-Key Learned Index Structures via Memoization-based Incremental Training [16.93830041971135]
  学習されたインデックスは、機械学習モデルを使用して、キーと対応する位置のマッピングをキー値インデックスで学習する。 更新クエリによって導入された変更を組み込むためには、モデルを頻繁に再トレーニングする必要がある。 SIAと呼ばれるアルゴリズムとハードウェアで設計した文字列キー学習インデックスシステムを開発した。
  論文  参考訳（メタデータ） (2024-03-18T04:44:00Z)
• Learning Fair Ranking Policies via Differentiable Optimization of Ordered Weighted Averages [55.04219793298687]
  本稿では,学習からランクへの学習ループに,効率よく解ける公正ランキングモデルを組み込む方法について述べる。 特に,本論文は,OWA目標の制約された最適化を通じてバックプロパゲーションを行う方法を示す最初のものである。
  論文  参考訳（メタデータ） (2024-02-07T20:53:53Z)
• ML-Powered Index Tuning: An Overview of Recent Progress and Open Challenges [5.675806178685878]
  現代のクラウドサービスにおけるワークロードのスケールと複雑さは、自動インデックスチューニングにおける重要な課題に、より焦点を絞っている。 本稿では、自動インデックスチューニングにおけるこれらの課題に注意を向け、機械学習(ML)技術がそれらの緩和に新たな機会をもたらす方法を探る。
  論文  参考訳（メタデータ） (2023-08-25T19:20:28Z)
• Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
  本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。 3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-19T16:25:43Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• DSI++: Updating Transformer Memory with New Documents [95.70264288158766]
  DSI++は、DSIが新たなドキュメントをインクリメンタルにインデクシングするための継続的な学習課題である。 新たな文書の連続的な索引付けは,それまでの索引付け文書をかなり忘れてしまうことを示す。 文書の擬似クエリをサンプルとして生成メモリを導入し、連続的なインデックス付け中に補足することで、検索タスクの忘れを防止する。
  論文  参考訳（メタデータ） (2022-12-19T18:59:34Z)
• Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolidation [39.97128550414934]
  本稿では,ディープニューラルネットワークに基づく新しいクラスインクリメンタル学習手法を提案する。 以前のタスクの例を格納するためのメモリが限られている新しいタスクを継続的に学習する。 我々のアルゴリズムは知識蒸留に基づいており、古いモデルの表現を維持するための原則的な方法を提供する。
  論文  参考訳（メタデータ） (2022-04-02T16:30:04Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• PrIU: A Provenance-Based Approach for Incrementally Updating Regression Models [9.496524884855559]
  本稿では,予測精度を犠牲にすることなく,モデルパラメータを漸進的に更新する手法PrIUを提案する。 漸進的に更新されたモデルパラメータの正しさと収束性を証明し、実験的に検証する。 実験結果から, PrIU-optはスクラッチからモデルを再トレーニングするのに対して, 非常に類似したモデルを得るよりも, 最大2桁のスピードアップを達成できることがわかった。
  論文  参考訳（メタデータ） (2020-02-26T21:04:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。