論文の概要: On the Costs and Benefits of Learned Indexing for Dynamic High-Dimensional Data: Extended Version
- arxiv url: http://arxiv.org/abs/2507.05865v1
- Date: Tue, 08 Jul 2025 10:47:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-09 16:34:37.929041
- Title: On the Costs and Benefits of Learned Indexing for Dynamic High-Dimensional Data: Extended Version
- Title(参考訳): 動的高次元データのための学習索引作成のコストとメリットについて:拡張版
- Authors: Terézia Slanináková, Jaroslav Olha, David Procházka, Matej Antol, Vlastislav Dohnal,
- Abstract要約: 本稿では,ノード分割や拡張といった操作による複雑なデータに対する静的学習インデックスのダイナミゼーションについて検討する。
データベースが成長するにつれて、その優れたスケーリングが全体的なコストの観点から、静的実装を急速に上回っていることを実証する。
- 参考スコア(独自算出の注目度): 1.8117028028306317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the main challenges within the growing research area of learned indexing is the lack of adaptability to dynamically expanding datasets. This paper explores the dynamization of a static learned index for complex data through operations such as node splitting and broadening, enabling efficient adaptation to new data. Furthermore, we evaluate the trade-offs between static and dynamic approaches by introducing an amortized cost model to assess query performance in tandem with the build costs of the index structure, enabling experimental determination of when a dynamic learned index outperforms its static counterpart. We apply the dynamization method to a static learned index and demonstrate that its superior scaling quickly surpasses the static implementation in terms of overall costs as the database grows. This is an extended version of the paper presented at DAWAK 2025.
- Abstract(参考訳): 学習インデックス作成の研究領域における大きな課題の1つは、データセットを動的に拡張する適応性の欠如である。
本稿では,ノード分割や拡張といった操作による複雑なデータに対する静的学習インデックスのダイナミゼーションについて検討し,新しいデータへの効率的な適応を可能にする。
さらに、静的な学習指標が静的な指標よりも優れている場合の実験的決定を可能にするために、インデックス構造の構築コストと一致してクエリ性能を評価するための償却コストモデルを導入することにより、静的なアプローチと動的アプローチのトレードオフを評価する。
このダイナミゼーション手法を静的学習インデックスに適用し,データベースの増大に伴う全体的なコストの面で,その優れたスケーリングが静的実装を急速に上回っていることを示す。
これはDAWAK 2025で発表された論文の拡張版である。
関連論文リスト
- Recent Advances in Large Langauge Model Benchmarks against Data Contamination: From Static to Dynamic Evaluation [48.21783789732205]
データ汚染リスクの低減を目的とした静的・動的ベンチマーク手法の詳細な分析を行う。
本稿では、動的ベンチマークのための最適設計原則のシリーズを提案し、既存の動的ベンチマークの限界を解析する。
論文 参考訳(メタデータ) (2025-02-23T08:18:37Z) - DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。
我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。
LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2025-02-18T02:37:26Z) - LOCAL: Learning with Orientation Matrix to Infer Causal Structure from Time Series Data [51.47827479376251]
LOCALは動的因果構造を復元するための効率的で実装が容易で制約のない手法である。
Asymptotic Causal Learning Mask (ACML) と Dynamic Graph Learning (DGPL)
合成および実世界のデータセットの実験では、LOCALが既存の手法よりも大幅に優れていることが示されている。
論文 参考訳(メタデータ) (2024-10-25T10:48:41Z) - Off-dynamics Conditional Diffusion Planners [15.321049697197447]
この研究は、オフラインRLにおけるデータ不足の課題に対処するために、より容易に利用できるオフダイナミックスデータセットの使用を探求する。
本研究では,DPMを用いた大規模オフダイナミックスデータセットと限定ターゲットデータセットの連成分布の学習手法を提案する。
論文 参考訳(メタデータ) (2024-10-16T04:56:43Z) - Unleash LLMs Potential for Recommendation by Coordinating Twin-Tower Dynamic Semantic Token Generator [60.07198935747619]
動的セマンティック・インデックス・パラダイムを採用した最初の生成型RSであるTTDS(Twin-Tower Dynamic Semantic Recommender)を提案する。
より具体的には、ツイン・トワー・セマンティック・トークン・ジェネレータをLLMベースのレコメンデータに統合する動的知識融合フレームワークを初めて提案する。
提案したTTDSレコメンデータは,平均19.41%のヒットレート,20.84%のNDCG測定値を実現している。
論文 参考訳(メタデータ) (2024-09-14T01:45:04Z) - Combined Optimization of Dynamics and Assimilation with End-to-End Learning on Sparse Observations [1.492574139257933]
CODAは、疎度でノイズの多い観測から、ダイナミックスとDAを直接学習するエンドツーエンドの最適化スキームである。
本研究では,非ロール型自己回帰力学と,弱い制約を持つ4Dvar DAのデータと自己整合性を組み合わせた新たな学習目標を提案する。
論文 参考訳(メタデータ) (2024-09-11T09:36:15Z) - UpLIF: An Updatable Self-Tuning Learned Index Framework [4.077820670802213]
UpLIFは、入ってくる更新に対応するようにモデルを調整した適応的な自己チューニング学習インデックスである。
また、モデル固有の特性を決定するバランスモデル調整の概念も導入する。
論文 参考訳(メタデータ) (2024-08-07T22:30:43Z) - Exploring the Practicality of Generative Retrieval on Dynamic Corpora [41.223804434693875]
本稿では,自己回帰型言語モデルをIR問題に適用する生成検索(GR)に焦点を当てる。
StreamingQAベンチマークの結果、GRは進化的知識(4-11%)に適応し、時間的情報による学習知識が堅牢で、FLOP(x6)、インデックス時間(x6)、ストレージフットプリント(x4)の点で効率的であることが示されている。
本稿では,動的環境における実用的な赤外線システムにおけるGRの可能性について述べる。
論文 参考訳(メタデータ) (2023-05-27T16:05:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。