論文の概要: Deploying a Steered Query Optimizer in Production at Microsoft

• arxiv url: http://arxiv.org/abs/2210.13625v1
• Date: Mon, 24 Oct 2022 21:57:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 15:52:11.678211
• Title: Deploying a Steered Query Optimizer in Production at Microsoft
• Title（参考訳）: Microsoftにおけるステアリングクエリ最適化ツールの運用
• Authors: Wangda Zhang, Matteo Interlandi, Paul Mineiro, Shi Qiao, Nasim Ghazanfari Karlen Lie, Marc Friedman, Rafah Hosn, Hiren Patel, Alekh Jindal
• Abstract要約: 我々は、与えられたワークロードのより良い計画に向けてクエリを操縦し、以前の研究アイデアを本番環境に推し進めるという、最近の取り組みを続けています。 ステアリングアクションをより管理可能にすること、ステアリングのコストを予算内で維持すること、製品のパフォーマンスの予期せぬ低下を避けることなどです。 私たちのシステムであるQQ-advisorは、クエリプランナを大規模なオフラインパイプラインに外部化して、より優れた探索と特殊化を実現します。
• 参考スコア（独自算出の注目度）: 10.647568709854877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern analytical workloads are highly heterogeneous and massively complex, making generic query optimizers untenable for many customers and scenarios. As a result, it is important to specialize these optimizers to instances of the workloads. In this paper, we continue a recent line of work in steering a query optimizer towards better plans for a given workload, and make major strides in pushing previous research ideas to production deployment. Along the way we solve several operational challenges including, making steering actions more manageable, keeping the costs of steering within budget, and avoiding unexpected performance regressions in production. Our resulting system, QQ-advisor, essentially externalizes the query planner to a massive offline pipeline for better exploration and specialization. We discuss various aspects of our design and show detailed results over production SCOPE workloads at Microsoft, where the system is currently enabled by default.
• Abstract（参考訳）: 現代の分析ワークロードは非常に異質で複雑で、汎用的なクエリオプティマイザを多くの顧客やシナリオで使用できないものにしている。 結果として、これらのオプティマイザをワークロードのインスタンスに特化することが重要です。 本稿では,あるワークロードに対するより良い計画に向けてクエリオプティマイザを管理するための最近の作業を続け,以前の研究アイデアを本番環境にプッシュする上で大きな一歩を踏み出します。 その過程で、ステアリングアクションの管理性の向上、予算内でステアリングコストの維持、プロダクションにおける予期しないパフォーマンス低下の回避など、いくつかの運用上の課題を解決します。 我々のシステムであるQQ-advisorは、クエリプランナを巨大なオフラインパイプラインに外部化し、探索と特殊化を改善します。 我々は設計のさまざまな側面を議論し、現在システムがデフォルトで有効になっているmicrosoftの製品スコープワークロードに関する詳細な結果を示す。

関連論文リスト

• The Effect of Scheduling and Preemption on the Efficiency of LLM Inference Serving [8.552242818726347]
  INFERMAXは様々なスケジューラを比較するために推論コストモデルを使用する分析フレームワークである。 その結果,プリエンプション要求はプリエンプションを回避するよりもGPUコストを30%削減できることがわかった。
  論文  参考訳（メタデータ） (2024-11-12T00:10:34Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• Unlocking Reasoning Potential in Large Langauge Models by Scaling Code-form Planning [94.76546523689113]
  CodePlanは、テキストコード形式の計画を生成し、追跡するフレームワークで、高いレベルの構造化された推論プロセスの概要を擬似コードで示します。 CodePlanは、洗練された推論タスク固有のリッチなセマンティクスと制御フローを効果的にキャプチャする。 反応を直接生成するのに比べて25.1%の相対的な改善が達成されている。
  論文  参考訳（メタデータ） (2024-09-19T04:13:58Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Learning Logic Specifications for Policy Guidance in POMDPs: an Inductive Logic Programming Approach [57.788675205519986]
  我々は任意の解法によって生成されるPOMDP実行から高品質なトレースを学習する。 我々は、データと時間効率のIndu Logic Programming(ILP)を利用して、解釈可能な信念に基づくポリシー仕様を生成する。 ASP(Answer Set Programming)で表現された学習は、ニューラルネットワークよりも優れた性能を示し、より少ない計算時間で最適な手作りタスクに類似していることを示す。
  論文  参考訳（メタデータ） (2024-02-29T15:36:01Z)
• Roq: Robust Query Optimization Based on a Risk-aware Learned Cost Model [3.0784574277021406]
  本稿では,リスク認識型学習アプローチに基づくロバストなクエリ最適化を実現するための包括的フレームワークを提案する。 Roqには、クエリ最適化の文脈におけるロバストネスの概念の新たな形式化が含まれている。 我々は、Roqが最先端技術と比較して堅牢なクエリ最適化に大幅な改善をもたらすことを実験的に実証した。
  論文  参考訳（メタデータ） (2024-01-26T21:16:37Z)
• Sibyl: Forecasting Time-Evolving Query Workloads [9.16115447503004]
  データベースシステムは、しばしば、ワークロードベースのパフォーマンスチューニングを実行するために、過去のクエリトレースに依存する。 実運用ワークロードは、時間的進化であり、将来のワークロードを最適化する上で、過去のクエリを非効率にする。 SIBYLはエンド・ツー・エンドの機械学習ベースのフレームワークで、将来的なクエリの順序を正確に予測する。
  論文  参考訳（メタデータ） (2024-01-08T08:11:32Z)
• JoinGym: An Efficient Query Optimization Environment for Reinforcement Learning [58.71541261221863]
  結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。 木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。 JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
  論文  参考訳（メタデータ） (2023-07-21T17:00:06Z)
• Large Language Models for Supply Chain Optimization [4.554094815136834]
  大規模言語モデル(LLM)がサプライチェーンの自動化と人間の理解と信頼のギャップを埋めるのにどのように役立つかを検討する。 我々はOptiGuideを設計する。これは平易なテキストで入力クエリとして受け付け、基礎となる結果に関する洞察を出力するフレームワークです。 当社のフレームワークがMicrosoftのクラウドサプライチェーン内の実際のサーバ配置シナリオに与える影響を実演する。
  論文  参考訳（メタデータ） (2023-07-08T01:42:22Z)
• BitE : Accelerating Learned Query Optimization in a Mixed-Workload Environment [0.36700088931938835]
  BitEは、データベース統計とメタデータを使用して、学習したクエリをチューニングしてパフォーマンスを向上させる、新しいアンサンブル学習モデルである。 我々のモデルは従来の手法に比べて19.6%改善されたクエリと15.8%改善されたクエリを実現している。
  論文  参考訳（メタデータ） (2023-06-01T16:05:33Z)
• A Research Agenda for Artificial Intelligence in the Field of Flexible Production Systems [53.47496941841855]
  生産会社は、需要変動や要求の変化に対して生産制御を迅速に適応することに関して、問題に直面します。 サービスという意味で生産機能をカプセル化することを目的とした制御手法は,サイバー物理生産システムの柔軟性を高めるために有望であることが示されている。 しかし、そのようなアプローチの既存の課題は、要求された機能と提供された機能の間に直接(統語的)一致がない場合に、一連の要求に対して提供された機能に基づいて生産計画を見つけることである。
  論文  参考訳（メタデータ） (2021-12-31T14:38:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。