論文の概要: UpLIF: An Updatable Self-Tuning Learned Index Framework
- arxiv url: http://arxiv.org/abs/2408.04113v1
- Date: Wed, 7 Aug 2024 22:30:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-09 17:10:20.220286
- Title: UpLIF: An Updatable Self-Tuning Learned Index Framework
- Title（参考訳）: UpLIF: アップグレード可能なセルフチューニング学習インデックスフレームワーク
- Authors: Alireza Heidari, Amirhossein Ahmadi, Wei Zhang,
- Abstract要約: UpLIFは、入ってくる更新に対応するようにモデルを調整した適応的な自己チューニング学習インデックスである。
また、モデル固有の特性を決定するバランスモデル調整の概念も導入する。
- 参考スコア（独自算出の注目度）: 4.077820670802213
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The emergence of learned indexes has caused a paradigm shift in our perception of indexing by considering indexes as predictive models that estimate keys' positions within a data set, resulting in notable improvements in key search efficiency and index size reduction; however, a significant challenge inherent in learned index modeling is its constrained support for update operations, necessitated by the requirement for a fixed distribution of records. Previous studies have proposed various approaches to address this issue with the drawback of high overhead due to multiple model retraining. In this paper, we present UpLIF, an adaptive self-tuning learned index that adjusts the model to accommodate incoming updates, predicts the distribution of updates for performance improvement, and optimizes its index structure using reinforcement learning. We also introduce the concept of balanced model adjustment, which determines the model's inherent properties (i.e. bias and variance), enabling the integration of these factors into the existing index model without the need for retraining with new data. Our comprehensive experiments show that the system surpasses state-of-the-art indexing solutions (both traditional and ML-based), achieving an increase in throughput of up to 3.12 times with 1000 times less memory usage.
- Abstract（参考訳）: 学習インデックスの出現は、データセット内のキーの位置を推定する予測モデルとしてインデックスを考慮し、インデックスの認識のパラダイムシフトを引き起こし、キー検索効率とインデックスサイズ削減の顕著な改善をもたらしたが、学習インデックスモデリングに固有の重要な課題は、レコードの固定分布の要求によって必要となる更新操作に対する制限付きサポートである。
従来の研究では、複数のモデル再訓練による高いオーバーヘッドの欠点に対処する様々な手法が提案されている。
本稿では,適応型自己学習学習インデックスであるUpLIFを提案する。これは,入ってくる更新に対応するようにモデルを調整し,性能改善のための更新の分布を予測し,強化学習を用いてインデックス構造を最適化する。
また、モデル固有の特性(バイアスや分散など)を決定するバランスモデル調整の概念を導入し、新しいデータで再トレーニングすることなく、これらの因子を既存のインデックスモデルに統合することを可能にする。
我々の総合的な実験によると、システムは最先端のインデックスソリューション(従来のMLベースとMLベースの両方)を超越し、1000倍のメモリ使用量で最大3.12倍のスループットを実現している。
関連論文リスト
- A New Paradigm in Tuning Learned Indexes: A Reinforcement Learning Enhanced Approach [6.454589614577438]
本稿ではLearted Index Structuresのエンドツーエンド自動チューニングのための新しいフレームワークであるLITuneを紹介する。
LITuneは、安定的で効率的なチューニングを保証するために、テーラーメイドのDeep Reinforcement Learning (DRL)アプローチを備えた適応的なトレーニングパイプラインを使用している。
LITuneは最大98%のランタイム削減と17倍のスループット向上を実現している。
論文 参考訳（メタデータ） (2025-02-07T15:22:15Z) - Real-time Indexing for Large-scale Recommendation by Streaming Vector Quantization Retriever [17.156348053402766]
Streaming Vector Quantization Modelは検索パラダイムの新しい世代である。
ストリームVQはインデックス付きのアイテムをリアルタイムでアタッチし、即時に付与する。
軽量で実装に優しいアーキテクチャとして、ストリーミングVQがデプロイされ、DouyinとDouyin Liteのすべてのメジャーレトリバーに置き換えられた。
論文 参考訳（メタデータ） (2025-01-15T10:09:15Z) - Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。
データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
論文 参考訳（メタデータ） (2024-11-30T10:56:30Z) - Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
そこで本研究では,リトレーニングを繰り返して安定なモデル列を見つけるためのモデルに依存しないフレームワークを提案する。
最適モデルの復元が保証される混合整数最適化の定式化を開発する。
平均的に、予測力の2%の低下は、安定性の30%の改善につながることが判明した。
論文 参考訳（メタデータ） (2024-03-28T22:45:38Z) - Accelerating String-Key Learned Index Structures via Memoization-based Incremental Training [16.93830041971135]
学習されたインデックスは、機械学習モデルを使用して、キーと対応する位置のマッピングをキー値インデックスで学習する。
更新クエリによって導入された変更を組み込むためには、モデルを頻繁に再トレーニングする必要がある。
SIAと呼ばれるアルゴリズムとハードウェアで設計した文字列キー学習インデックスシステムを開発した。
論文 参考訳（メタデータ） (2024-03-18T04:44:00Z) - Learning Fair Ranking Policies via Differentiable Optimization of
Ordered Weighted Averages [55.04219793298687]
本稿では,学習からランクへの学習ループに,効率よく解ける公正ランキングモデルを組み込む方法について述べる。
特に,本論文は,OWA目標の制約された最適化を通じてバックプロパゲーションを行う方法を示す最初のものである。
論文 参考訳（メタデータ） (2024-02-07T20:53:53Z) - Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。
3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
論文 参考訳（メタデータ） (2023-05-19T16:25:43Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:28:29Z) - DSI++: Updating Transformer Memory with New Documents [95.70264288158766]
DSI++は、DSIが新たなドキュメントをインクリメンタルにインデクシングするための継続的な学習課題である。
新たな文書の連続的な索引付けは,それまでの索引付け文書をかなり忘れてしまうことを示す。
文書の擬似クエリをサンプルとして生成メモリを導入し、連続的なインデックス付け中に補足することで、検索タスクの忘れを防止する。
論文 参考訳（メタデータ） (2022-12-19T18:59:34Z) - Class-Incremental Learning by Knowledge Distillation with Adaptive
Feature Consolidation [39.97128550414934]
本稿では,ディープニューラルネットワークに基づく新しいクラスインクリメンタル学習手法を提案する。
以前のタスクの例を格納するためのメモリが限られている新しいタスクを継続的に学習する。
我々のアルゴリズムは知識蒸留に基づいており、古いモデルの表現を維持するための原則的な方法を提供する。
論文 参考訳（メタデータ） (2022-04-02T16:30:04Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。