論文の概要: No DBA? No regret! Multi-armed bandits for index tuning of analytical and HTAP workloads with provable guarantees

• arxiv url: http://arxiv.org/abs/2108.10130v1
• Date: Mon, 23 Aug 2021 12:54:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-24 15:24:45.461027
• Title: No DBA? No regret! Multi-armed bandits for index tuning of analytical and HTAP workloads with provable guarantees
• Title（参考訳）: DBAなし? 後悔するな! 証明可能な保証付き分析およびHTAPワークロードのインデックスチューニングのためのマルチアームバンド
• Authors: R. Malinga Perera, Bastian Oetomo, Benjamin I. P. Rubinstein, Renata Borovica-Gajic
• Abstract要約: 本稿では,DBAとクエリオプティマイザを併用したオンラインインデックス選択に対する自律的アプローチを提案する。 我々はその問題を不確実性の下でのシーケンシャルな意思決定の1つと見なしている。 当社のソリューションでは、シフトのスピードアップを最大59%、静的ワークロードのスピードアップを最大51%提供しています。
• 参考スコア（独自算出の注目度）: 9.965853054511163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automating physical database design has remained a long-term interest in database research due to substantial performance gains afforded by optimised structures. Despite significant progress, a majority of today's commercial solutions are highly manual, requiring offline invocation by database administrators (DBAs) who are expected to identify and supply representative training workloads. Even the latest advancements like query stores provide only limited support for dynamic environments. This status quo is untenable: identifying representative static workloads is no longer realistic; and physical design tools remain susceptible to the query optimiser's cost misestimates. Furthermore, modern application environments such as hybrid transactional and analytical processing (HTAP) systems render analytical modelling next to impossible. We propose a self-driving approach to online index selection that eschews the DBA and query optimiser, and instead learns the benefits of viable structures through strategic exploration and direct performance observation. We view the problem as one of sequential decision making under uncertainty, specifically within the bandit learning setting. Multi-armed bandits balance exploration and exploitation to provably guarantee average performance that converges to policies that are optimal with perfect hindsight. Our comprehensive empirical evaluation against a state-of-the-art commercial tuning tool demonstrates up to 75% speed-up on shifting and ad-hoc workloads and up to 28% speed-up on static workloads in analytical processing environments. In HTAP environments, our solution provides up to 59% speed-up on shifting and 51% speed-up on static workloads. Furthermore, our bandit framework outperforms deep reinforcement learning (RL) in terms of convergence speed and performance volatility (providing up to 58% speed-up).
• Abstract（参考訳）: 物理データベース設計の自動化は、最適化された構造によって得られる大幅な性能向上のために、データベース研究に長期的な関心が保たれている。 相当な進歩にもかかわらず、今日の商用ソリューションの大部分は極めて手作業で、代表的トレーニングワークロードの特定と提供を期待されているデータベース管理者(dbas)によるオフライン呼び出しを必要とする。 クエリストアのような最新の進歩でさえ、動的環境に対する限定的なサポートしか提供しない。 静的なワークロードの代表を識別することはもはや現実的ではなく、物理的な設計ツールがクエリオプティマイザーのコスト見積に影響を受けやすい。 さらに、ハイブリッドトランザクションおよび分析処理(HTAP)システムのような現代のアプリケーション環境では、分析モデリングは不可能である。 我々は,dbaやクエリオプティマイザを回避し,戦略的な探索と直接的パフォーマンス観察を通じて実現可能な構造のメリットを学習する,オンラインインデックス選択の自動運転手法を提案する。 我々は,この問題を不確実性下での逐次的意思決定の1つ,特にバンディット学習環境において捉えている。 マルチアームバンディットは、完全な後見に最適なポリシーに収束する平均的なパフォーマンスを確実に保証するために、探索と搾取のバランスをとる。 最先端の商用チューニングツールに対する包括的実証評価は、シフトおよびアドホックなワークロードの最大75%のスピードアップと、分析処理環境での静的ワークロードの最大28%のスピードアップを示しています。 HTAP環境では、我々のソリューションは、シフトの最大59%のスピードアップと静的ワークロードの51%のスピードアップを提供します。 さらに,バンディットフレームワークは,収束速度と性能変動性(最大58%の速度アップ)において,深層強化学習(RL)よりも優れていた。

関連論文リスト

• Adaptive Stream Processing on Edge Devices through Active Inference [5.5676731834895765]
  アクティブ推論(AIF)に基づく新しい機械学習パラダイムを提案する。 AIFは、脳が長期的サプライズを減らすために感覚情報を常に予測し、評価する方法を記述している。 本手法は意思決定の完全透明性を保証し,結果の解釈とトラブルシューティングを無力化する。
  論文  参考訳（メタデータ） (2024-09-26T15:12:41Z)
• Agent Q: Advanced Reasoning and Learning for Autonomous AI Agents [44.34340798542]
  大きな言語モデル(LLM)は、複雑な推論を必要とする自然言語タスクにおいて顕著な能力を示している。 静的データセットに対する従来の教師付き事前トレーニングは、自律的なエージェント機能を実現するには不十分である。 本稿では,モンテカルロ木探索(MCTS)を自己批判機構と組み合わせ,エージェント間相互作用を反復的に微調整するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T20:52:13Z)
• Controllable Prompt Tuning For Balancing Group Distributional Robustness [53.336515056479705]
  グループ間で優れたパフォーマンスを実現するための最適化スキームを導入し、それらの性能を著しく犠牲にすることなく、全員に良い解決策を見出す。 本稿では,制御可能なプロンプトチューニング(CPT)を提案する。 突発的相関ベンチマークでは, 変換器と非変換器の両アーキテクチャ, および非モーダルおよびマルチモーダルデータにまたがって, 最先端の結果が得られた。
  論文  参考訳（メタデータ） (2024-03-05T06:23:55Z)
• Sibyl: Forecasting Time-Evolving Query Workloads [9.16115447503004]
  データベースシステムは、しばしば、ワークロードベースのパフォーマンスチューニングを実行するために、過去のクエリトレースに依存する。 実運用ワークロードは、時間的進化であり、将来のワークロードを最適化する上で、過去のクエリを非効率にする。 SIBYLはエンド・ツー・エンドの機械学習ベースのフレームワークで、将来的なクエリの順序を正確に予測する。
  論文  参考訳（メタデータ） (2024-01-08T08:11:32Z)
• Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
  この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。 我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。 NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
  論文  参考訳（メタデータ） (2023-12-21T02:48:44Z)
• Towards General and Efficient Online Tuning for Spark [55.30868031221838]
  本稿では,3つの問題を同時に処理できる汎用的で効率的なSparkチューニングフレームワークを提案する。 我々は、このフレームワークを独立したクラウドサービスとして実装し、Tencentのデータプラットフォームに適用しました。
  論文  参考訳（メタデータ） (2023-09-05T02:16:45Z)
• Adaptive Resource Allocation for Virtualized Base Stations in O-RAN with Online Learning [60.17407932691429]
  基地局(vBS)を備えたオープンラジオアクセスネットワークシステムは、柔軟性の向上、コスト削減、ベンダーの多様性、相互運用性のメリットを提供する。 本研究では,予期せぬ「混み合う」環境下であっても,効率的なスループットとvBSエネルギー消費のバランスをとるオンライン学習アルゴリズムを提案する。 提案手法は, 課題のある環境においても, 平均最適性ギャップをゼロにすることで, サブ線形後悔を実現する。
  論文  参考訳（メタデータ） (2023-09-04T17:30:21Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)
• DBA bandits: Self-driving index tuning under ad-hoc, analytical workloads with safety guarantees [14.913550078203448]
  物理データベースの設計は、データベース研究に長く関心を寄せてきた。 クエリストアのような最近の進歩は、動的環境に対する限られたサポートしか提供しない。 本稿では,DBAとクエリオプティマイザを併用したオンラインインデックス選択に対する自律的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-19T04:24:10Z)
• GOAT: GPU Outsourcing of Deep Learning Training With Asynchronous Probabilistic Integrity Verification Inside Trusted Execution Environment [0.0]
  Deep Neural Networks(DNN)に基づく機械学習モデルは、自動運転車から新型コロナウイルスの治療発見まで、さまざまなアプリケーションにますます導入されている。 DNNを学習するために必要な計算能力をサポートするために、専用のハードウェアサポートを備えたクラウド環境が重要なインフラストラクチャとして登場した。 これらの課題に対処する様々なアプローチが開発され、信頼できる実行環境(TEE)上に構築されている。
  論文  参考訳（メタデータ） (2020-10-17T20:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。