論文の概要: ML-Powered Index Tuning: An Overview of Recent Progress and Open Challenges

• arxiv url: http://arxiv.org/abs/2308.13641v1
• Date: Fri, 25 Aug 2023 19:20:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 20:07:10.652509
• Title: ML-Powered Index Tuning: An Overview of Recent Progress and Open Challenges
• Title（参考訳）: MLベースのインデックスチューニング - 最近の進歩とオープンチャレンジの概要
• Authors: Tarique Siddiqui, Wentao Wu
• Abstract要約: 現代のクラウドサービスにおけるワークロードのスケールと複雑さは、自動インデックスチューニングにおける重要な課題に、より焦点を絞っている。 本稿では、自動インデックスチューニングにおけるこれらの課題に注意を向け、機械学習(ML)技術がそれらの緩和に新たな機会をもたらす方法を探る。
• 参考スコア（独自算出の注目度）: 5.675806178685878
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The scale and complexity of workloads in modern cloud services have brought into sharper focus a critical challenge in automated index tuning -- the need to recommend high-quality indexes while maintaining index tuning scalability. This challenge is further compounded by the requirement for automated index implementations to introduce minimal query performance regressions in production deployments, representing a significant barrier to achieving scalability and full automation. This paper directs attention to these challenges within automated index tuning and explores ways in which machine learning (ML) techniques provide new opportunities in their mitigation. In particular, we reflect on recent efforts in developing ML techniques for workload selection, candidate index filtering, speeding up index configuration search, reducing the amount of query optimizer calls, and lowering the chances of performance regressions. We highlight the key takeaways from these efforts and underline the gaps that need to be closed for their effective functioning within the traditional index tuning framework. Additionally, we present a preliminary cross-platform design aimed at democratizing index tuning across multiple SQL-like systems -- an imperative in today's continuously expanding data system landscape. We believe our findings will help provide context and impetus to the research and development efforts in automated index tuning.
• Abstract（参考訳）: 現代的なクラウドサービスにおけるワークロードのスケールと複雑さは、自動インデックスチューニングにおいて重要な課題に焦点を絞った -- インデックスチューニングのスケーラビリティを維持しながら、高品質インデックスを推奨する必要がある。 この課題は、自動インデックス実装が本番デプロイメントに最小限のクエリパフォーマンスレグレッションを導入し、スケーラビリティと完全な自動化を実現する上で大きな障壁となる、という要件によってさらに複雑化している。 本稿では、自動インデックスチューニングにおけるこれらの課題に注意を向け、機械学習(ML)技術がそれらの緩和に新たな機会をもたらす方法を探る。 特に、ワークロード選択、候補インデックスフィルタリング、インデックス設定検索の高速化、クエリオプティマイザ呼び出しの量削減、パフォーマンスレグレッション率の低下など、ML技術開発における最近の取り組みについて考察する。 これらの取り組みから得られた重要な点を強調し、従来のインデックスチューニングフレームワークにおける効果的な機能のために閉じる必要があるギャップを概説します。 さらに、複数のsqlライクなシステム間でインデックスチューニングを民主化することを目的とした、予備的なクロスプラットフォーム設計も提示します。 本研究の成果は,自動インデックスチューニングにおける研究・開発活動の状況と意義に寄与すると考えられる。

関連論文リスト

• UpLIF: An Updatable Self-Tuning Learned Index Framework [4.077820670802213]
  UpLIFは、入ってくる更新に対応するようにモデルを調整した適応的な自己チューニング学習インデックスである。 また、モデル固有の特性を決定するバランスモデル調整の概念も導入する。
  論文  参考訳（メタデータ） (2024-08-07T22:30:43Z)
• State-Space Modeling in Long Sequence Processing: A Survey on Recurrence in the Transformer Era [59.279784235147254]
  このサーベイは、シーケンシャルなデータ処理の反復モデルに基づく最新のアプローチの詳細な概要を提供する。 新たなイメージは、標準のバックプロパゲーション・オブ・タイムから外れた学習アルゴリズムによって構成される、新しいルートを考える余地があることを示唆している。
  論文  参考訳（メタデータ） (2024-06-13T12:51:22Z)
• Accelerating String-Key Learned Index Structures via Memoization-based Incremental Training [16.93830041971135]
  学習されたインデックスは、機械学習モデルを使用して、キーと対応する位置のマッピングをキー値インデックスで学習する。 更新クエリによって導入された変更を組み込むためには、モデルを頻繁に再トレーニングする必要がある。 SIAと呼ばれるアルゴリズムとハードウェアで設計した文字列キー学習インデックスシステムを開発した。
  論文  参考訳（メタデータ） (2024-03-18T04:44:00Z)
• Quantum Algorithm Exploration using Application-Oriented Performance Benchmarks [0.0]
  Application-Oriented BenchmarksのQED-Cスイートは、量子コンピュータの性能特性を測定する機能を提供する。 我々は,このベンチマーク手法がより複雑なアプリケーションに適用される可能性を広げる上での課題について検討する。
  論文  参考訳（メタデータ） (2024-02-14T06:55:50Z)
• Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
  この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。 我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。 NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
  論文  参考訳（メタデータ） (2023-12-21T02:48:44Z)
• AutoML for Large Capacity Modeling of Meta's Ranking Systems [29.717756064694278]
  本稿では,大容量モデル構築のためのサンプリングベースAutoML手法を提案する。 提案手法は,優れた投資収益率(ROI)と人為的調整ベースライン(調整ベースライン)を達成可能であることを示す。 提案されたAutoMLメソッドは、大規模なオンラインA/Bテストで-0.36% NEゲインを持つInstagram CTRモデルが選択され、統計的に有意な増加を示すという、現実的な影響をすでに与えている。
  論文  参考訳（メタデータ） (2023-11-14T03:00:50Z)
• Auto-FP: An Experimental Study of Automated Feature Preprocessing for Tabular Data [10.740391800262685]
  機能前処理は、優れたモデル品質を保証するための重要なステップです。 大規模な検索スペースのため、ブルートフォースソリューションは違法に高価である。 我々は、Auto-FP問題を解決するために、様々なHPOおよびNASアルゴリズムを拡張した。
  論文  参考訳（メタデータ） (2023-10-04T02:46:44Z)
• Towards General and Efficient Online Tuning for Spark [55.30868031221838]
  本稿では,3つの問題を同時に処理できる汎用的で効率的なSparkチューニングフレームワークを提案する。 我々は、このフレームワークを独立したクラウドサービスとして実装し、Tencentのデータプラットフォームに適用しました。
  論文  参考訳（メタデータ） (2023-09-05T02:16:45Z)
• How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
  各種コーパス尺度における生成的検索手法の実証的研究を行った。 我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。 生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
  論文  参考訳（メタデータ） (2023-05-19T17:33:38Z)
• Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching [72.50506500576746]
  我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。 近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。 我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
  論文  参考訳（メタデータ） (2021-12-13T13:49:11Z)
• Automated Machine Learning Techniques for Data Streams [91.3755431537592]
  本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。 この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
  論文  参考訳（メタデータ） (2021-06-14T11:42:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。