論文の概要: VDTuner: Automated Performance Tuning for Vector Data Management Systems

• arxiv url: http://arxiv.org/abs/2404.10413v1
• Date: Tue, 16 Apr 2024 09:31:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 17:23:30.985872
• Title: VDTuner: Automated Performance Tuning for Vector Data Management Systems
• Title（参考訳）: VDTuner:ベクトルデータ管理システムのパフォーマンスチューニングを自動化する
• Authors: Tiannuo Yang, Wen Hu, Wangqi Peng, Yusen Li, Jianguo Li, Gang Wang, Xiaoguang Liu,
• Abstract要約: 本稿では,ベクトルデータ管理システムのための学習ベースの自動パフォーマンスチューニングフレームワークであるVDTunerを紹介する。 VDTunerは、複雑な多次元パラメータ空間を効率的に探索することで、VDMSに関連する課題を克服する。 検索速度とリコールレートのバランスが良く、最適な設定を提供できる。
• 参考スコア（独自算出の注目度）: 15.914930272701389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vector data management systems (VDMSs) have become an indispensable cornerstone in large-scale information retrieval and machine learning systems like large language models. To enhance the efficiency and flexibility of similarity search, VDMS exposes many tunable index parameters and system parameters for users to specify. However, due to the inherent characteristics of VDMS, automatic performance tuning for VDMS faces several critical challenges, which cannot be well addressed by the existing auto-tuning methods. In this paper, we introduce VDTuner, a learning-based automatic performance tuning framework for VDMS, leveraging multi-objective Bayesian optimization. VDTuner overcomes the challenges associated with VDMS by efficiently exploring a complex multi-dimensional parameter space without requiring any prior knowledge. Moreover, it is able to achieve a good balance between search speed and recall rate, delivering an optimal configuration. Extensive evaluations demonstrate that VDTuner can markedly improve VDMS performance (14.12% in search speed and 186.38% in recall rate) compared with default setting, and is more efficient compared with state-of-the-art baselines (up to 3.57 times faster in terms of tuning time). In addition, VDTuner is scalable to specific user preference and cost-aware optimization objective. VDTuner is available online at https://github.com/tiannuo-yang/VDTuner.
• Abstract（参考訳）: ベクトルデータ管理システム(VDMS)は、大規模情報検索や大規模言語モデルのような機械学習システムにおいて、必須の基盤となっている。 類似検索の効率性と柔軟性を高めるため、VDMSは多くの調整可能なインデックスパラメータとユーザが指定できるシステムパラメータを公開している。 しかし,VDMSの特性から,VDMSの自動パフォーマンスチューニングにはいくつかの重要な課題があり,既存の自動チューニング手法ではうまく対応できない。 本稿では,VDMSのための学習に基づく自動パフォーマンスチューニングフレームワークであるVDTunerを紹介する。 VDTunerは、複雑な多次元パラメータ空間を事前の知識を必要とせずに効率的に探索することで、VDMSに関連する課題を克服する。 さらに、検索速度とリコールレートのバランスが良く、最適な設定を提供できる。 大規模な評価では、VDTunerはデフォルト設定に比べてVDMSの性能を著しく向上させ(検索速度14.12%、リコールレート186.38%)、最先端のベースライン(チューニング時間では最大3.57倍)よりも効率的である。 さらに、VDTunerは、特定のユーザの好みやコストを意識した最適化目標に対してスケーラブルである。 VDTunerはhttps://github.com/tiannuo-yang/VDTuner.comで公開されている。

関連論文リスト

• Exploring Dynamic Transformer for Efficient Object Tracking [58.120191254379854]
  効率的なトラッキングのための動的トランスフォーマーフレームワークであるDyTrackを提案する。 DyTrackは、様々な入力に対して適切な推論ルートを設定することを学習し、利用可能な計算予算をより活用する。 複数のベンチマークの実験では、DyTrackは単一のモデルで有望な速度精度のトレードオフを実現している。
  論文  参考訳（メタデータ） (2024-03-26T12:31:58Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• HPC Storage Service Autotuning Using Variational-Autoencoder-Guided Asynchronous Bayesian Optimization [3.153934519625761]
  我々は,HPCストレージサービスパラメータをチューニングするための変分自動エンコーダ誘導非同期ベイズ最適化法を開発した。 我々は、DeepHyperオープンソースフレームワークにアプローチを実装し、ArgonneのThetaスーパーコンピュータ上での高エネルギー物理ワークフローの自動チューニングに適用する。 われわれのアプローチは、最先端のオートチューニングフレームワークのスピードに匹敵し、リソース利用と並列化の能力でそれらを上回ります。
  論文  参考訳（メタデータ） (2022-10-03T10:12:57Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Automatic Configuration for Optimal Communication Scheduling in DNN Training [10.098059745559349]
  ByteSchedulerは、分散Deep Neural Network(DNN)トレーニングの通信効率を改善するために、テンソル送信を分割して再配置する。 しかし実際には、様々な実行時要素(例えば、ワーカーノードの状態とネットワークの状態)が時間とともに変化し、静的に決定されたワンショット構成結果が最適化される。 トレーニングシステムが動的に変化すると、最適なハイパーパラメータを自動的にタイムリーに検索するリアルタイム設定手法(AutoByte)を提案する。
  論文  参考訳（メタデータ） (2021-12-27T04:54:49Z)
• DeepTimeAnomalyViz: A Tool for Visualizing and Post-processing Deep Learning Anomaly Detection Results for Industrial Time-Series [88.12892448747291]
  DeTAVIZ インタフェースは Web ブラウザをベースとした可視化ツールで,特定の問題における DL ベースの異常検出の実現可能性の迅速な探索と評価を行う。 DeTAVIZを使えば、ユーザーは複数のポスト処理オプションを簡単かつ迅速に繰り返し、異なるモデルを比較することができ、選択したメトリックに対して手動で最適化できる。
  論文  参考訳（メタデータ） (2021-09-21T10:38:26Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• TimeAutoML: Autonomous Representation Learning for Multivariate Irregularly Sampled Time Series [27.0506649441212]
  本稿では,不規則なサンプリングレートと可変長を持つ多変量時系列(TimeAutoML)の自律表現学習手法を提案する。 実世界のデータセットに関する大規模な実証研究は、提案されたTimeAutoMLが、様々なタスクにおける競合するアプローチを大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-10-04T15:01:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。