論文の概要: Hands-off Model Integration in Spatial Index Structures
- arxiv url: http://arxiv.org/abs/2006.16411v2
- Date: Sun, 9 Aug 2020 19:43:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 15:25:51.399348
- Title: Hands-off Model Integration in Spatial Index Structures
- Title（参考訳）: 空間指数構造におけるハンズオフモデルの統合
- Authors: Ali Hadian, Ankit Kumar, Thomas Heinis
- Abstract要約: 本稿では,軽量機械学習モデルを用いて空間インデックスのクエリを高速化する機会について検討する。
我々は、R木において、おそらく最も広く使われている空間指標である、それと類似した手法を使うことの可能性を探ることによって、そうする。
分析で示すように、クエリの実行時間を最大60%削減でき、同時にインデックスのメモリフットプリントを90%以上削減できる。
- 参考スコア（独自算出の注目度）: 8.710716183434918
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatial indexes are crucial for the analysis of the increasing amounts of
spatial data, for example generated through IoT applications. The plethora of
indexes that has been developed in recent decades has primarily been optimised
for disk. With increasing amounts of memory even on commodity machines,
however, moving them to main memory is an option. Doing so opens up the
opportunity to use additional optimizations that are only amenable to main
memory. In this paper we thus explore the opportunity to use light-weight
machine learning models to accelerate queries on spatial indexes. We do so by
exploring the potential of using interpolation and similar techniques on the
R-tree, arguably the most broadly used spatial index. As we show in our
experimental analysis, the query execution time can be reduced by up to 60%
while simultaneously shrinking the index's memory footprint by over 90%
- Abstract（参考訳）: 空間インデックスは、例えばIoTアプリケーションを通じて生成された空間データの増加量を分析するために不可欠である。
近年開発されたインデックスの多さは、主にディスクに最適化されている。
しかし、コモディティマシン上でもメモリ量が増加すると、メインメモリに移すことが選択肢となる。
そうすることで、メインメモリにのみ対応可能な追加最適化を使用する機会が開かれる。
本稿では,軽量機械学習モデルを用いて空間インデックスのクエリを高速化する機会について検討する。
我々は、最も広く使われている空間指標であるR木に補間や同様の手法を用いる可能性を探究する。
実験分析で示したように、クエリの実行時間は最大60%削減でき、同時にインデックスのメモリフットプリントを90%以上縮小できる。
関連論文リスト
- Characterizing the Dilemma of Performance and Index Size in Billion-Scale Vector Search and Breaking It with Second-Tier Memory [14.432536669959218]
大規模データセットのベクター検索は、Web検索やRAGのような現代的なオンラインサービスにとって極めて重要である。
既存のSSDベースのグラフとクラスタインデックスのパフォーマンスとインデックスサイズのトレードオフを特徴付ける。
ベクターインデックスは、様々な第2階層メモリデバイスにおいて、桁違いに小さなインデックス増幅で最適な性能が得られることを示す。
論文 参考訳（メタデータ） (2024-05-06T08:38:14Z) - Semi-Parametric Retrieval via Binary Token Index [71.78109794895065]
Semi-parametric Vocabulary Disentangled Retrieval (SVDR) は、新しい半パラメトリック検索フレームワークである。
既存のニューラル検索手法に似た、高い有効性のための埋め込みベースのインデックスと、従来の用語ベースの検索に似た、迅速かつ費用対効果の高いセットアップを可能にするバイナリトークンインデックスの2つのタイプをサポートする。
埋め込みベースインデックスを使用する場合の高密度検索器DPRよりも3%高いトップ1検索精度と、バイナリトークンインデックスを使用する場合のBM25よりも9%高いトップ1検索精度を実現する。
論文 参考訳（メタデータ） (2024-05-03T08:34:13Z) - AiSAQ: All-in-Storage ANNS with Product Quantization for DRAM-free Information Retrieval [1.099532646524593]
DiskANNは、RAMとストレージの両方を使用して、大規模データセットのリコール速度バランスを良好に実現している。
製品量子化(PQ)による圧縮ベクターのロードによるメモリ使用量の削減を主張する一方で、そのメモリ使用量はデータセットの規模に比例して増加する。
本稿では、圧縮されたベクトルをストレージにオフロードするAiSAQ(All-in-Storage ANNS with Product Quantization)を提案する。
論文 参考訳（メタデータ） (2024-04-09T04:20:27Z) - End-to-End Learning to Index and Search in Large Output Spaces [95.16066833532396]
Extreme Multi-label Classification (XMC) は現実世界の問題を解決するための一般的なフレームワークである。
本稿では,木系インデックスを特殊重み付きグラフベースインデックスに緩和する新しい手法を提案する。
ELIASは、数百万のラベルを持つ大規模極端分類ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-10-16T01:34:17Z) - Learned Sorted Table Search and Static Indexes in Small Space:
Methodological and Practical Insights via an Experimental Study [0.0]
Sorted Table Search プロシージャはクインテシデントなクエリ検索ツールだが,それでも非常に有用だ。
検索するテーブルに関して、小さな追加スペースでそれらをスピードアップすることは、依然として非常に大きな成果である。
一定あるいはほぼ一定の追加空間を使用しながら、学習のスピードアップをどの程度楽しむことができるかは、大きな疑問である。
論文 参考訳（メタデータ） (2021-07-19T16:06:55Z) - IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。
クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。
我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
論文 参考訳（メタデータ） (2021-03-17T23:13:25Z) - A Pluggable Learned Index Method via Sampling and Gap Insertion [48.900186573181735]
データベースインデックスは、データ検索を促進し、現実世界のシステムにおける幅広いアプリケーションに役立つ。
近年,隠れて有用なデータ分布を学習するために,learning indexという新しいインデックスが提案されている。
学習指標の学習効率と学習効率を高めるための2つの一般的なテクニックとプラグイン可能なテクニックを研究します。
論文 参考訳（メタデータ） (2021-01-04T07:17:23Z) - The Case for Learned Spatial Indexes [62.88514422115702]
我々は、空間範囲の問合せに答えるために、最先端の学習した多次元インデックス構造(すなわちFlood)から提案した手法を用いる。
i) パーティション内の機械学習検索は、1次元でフィルタリングを使用する場合の2進探索よりも11.79%速く、39.51%高速であることを示す。
また、2次元でフィルタする最も近い競合相手の1.23倍から1.83倍の速さで機械学習インデックスを精査する。
論文 参考訳（メタデータ） (2020-08-24T12:09:55Z) - Tsunami: A Learned Multi-dimensional Index for Correlated Data and
Skewed Workloads [29.223401893397714]
我々は,既存の学習した多次元インデックスよりも最大6倍高速なクエリ性能と最大8倍のインデックスサイズを実現する綱見を紹介した。
論文 参考訳（メタデータ） (2020-06-23T19:25:51Z) - Progressively Pretrained Dense Corpus Index for Open-Domain Question
Answering [87.32442219333046]
本稿では,段落エンコーダを事前学習するための簡易かつ資源効率の高い手法を提案する。
本手法は,事前学習に7倍の計算資源を使用する既存の高密度検索法より優れている。
論文 参考訳（メタデータ） (2020-04-30T18:09:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。