論文の概要: FOSS: A Self-Learned Doctor for Query Optimizer

• arxiv url: http://arxiv.org/abs/2312.06357v2
• Date: Wed, 14 Aug 2024 03:27:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 18:26:43.780216
• Title: FOSS: A Self-Learned Doctor for Query Optimizer
• Title（参考訳）: FOSS:クエリ最適化のためのセルフラーニングドキュメンテーション
• Authors: Kai Zhong, Luming Sun, Tao Ji, Cuiping Li, Hong Chen,
• Abstract要約: FOSSと呼ばれる深層強化学習に基づくクエリ最適化のための新しいフレームワークを提案する。 Fossは従来のブートストラップによって生成された当初の計画から最適化を開始し、計画の最適下ノードを漸進的に洗練する。 結合順序ベンチマーク, TPC-DS, Stack OverflowベンチマークにおけるFOSSの性能評価を行った。
• 参考スコア（独自算出の注目度）: 19.15262900354963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Various works have utilized deep learning to address the query optimization problem in database system. They either learn to construct plans from scratch in a bottom-up manner or steer the plan generation behavior of traditional optimizer using hints. While these methods have achieved some success, they face challenges in either low training efficiency or limited plan search space. To address these challenges, we introduce FOSS, a novel framework for query optimization based on deep reinforcement learning. FOSS initiates optimization from the original plan generated by a traditional optimizer and incrementally refines suboptimal nodes of the plan through a sequence of actions. Additionally, we devise an asymmetric advantage model to evaluate the advantage between two plans. We integrate it with a traditional optimizer to form a simulated environment. Leveraging this simulated environment, FOSS can bootstrap itself to rapidly generate a large amount of high-quality simulated experiences. FOSS then learns from these experiences to improve its optimization capability. We evaluate the performance of FOSS on Join Order Benchmark, TPC-DS, and Stack Overflow. The experimental results demonstrate that FOSS outperforms the state-of-the-art methods in terms of latency performance. Compared to PostgreSQL, FOSS achieves speedup ranging from 1.15x to 8.33x in total latency across different benchmarks.
• Abstract（参考訳）: データベースシステムにおける問合せ最適化問題に対処するために,様々な研究がディープラーニングを活用している。 彼らはボトムアップの方法でゼロから計画を構築することを学ぶか、ヒントを使って従来のオプティマイザのプラン生成の振る舞いを操縦する。 これらの手法はいくつかの成功を収めてきたが、訓練効率の低さや限られた計画探索空間の難しさに直面している。 これらの課題に対処するために、深層強化学習に基づくクエリ最適化のための新しいフレームワークであるFOSSを紹介する。 FOSSは、従来のオプティマイザによって生成された当初の計画から最適化を開始し、一連のアクションを通じて計画の最適下ノードを漸進的に洗練する。 さらに,2つの計画間の優位性を評価するために,非対称な優位性モデルを提案する。 従来のオプティマイザと統合してシミュレートされた環境を作ります。 このシミュレートされた環境を活用することで、FOSSは自らをブートストラップして、大量の高品質なシミュレートされたエクスペリエンスを迅速に生成することができる。 FOSSはこれらの経験から学び、最適化能力を改善する。 結合順序ベンチマーク, TPC-DS, Stack OverflowにおけるFOSSの性能評価を行った。 実験の結果、FOSSは遅延性能の点で最先端の手法よりも優れていることが示された。 PostgreSQLと比較して、FOSSは異なるベンチマークで合計1.15倍から8.33倍のレイテンシを実現する。

関連論文リスト

• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
  我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。 私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Adaptive Neural Ranking Framework: Toward Maximized Business Goal for Cascade Ranking Systems [33.46891569350896]
  カスケードランキングは、オンライン広告とレコメンデーションシステムにおける大規模なトップk選択問題に広く使われている。 それまでの学習からランクへの取り組みは、モデルに完全な順序やトップクオーダを学習させることに重点を置いていた。 我々はこの手法をアダプティブ・ニューラルランキング・フレームワーク (Adaptive Neural Ranking Framework, ARF) と命名する。
  論文  参考訳（メタデータ） (2023-10-16T14:43:02Z)
• BitE : Accelerating Learned Query Optimization in a Mixed-Workload Environment [0.36700088931938835]
  BitEは、データベース統計とメタデータを使用して、学習したクエリをチューニングしてパフォーマンスを向上させる、新しいアンサンブル学習モデルである。 我々のモデルは従来の手法に比べて19.6%改善されたクエリと15.8%改善されたクエリを実現している。
  論文  参考訳（メタデータ） (2023-06-01T16:05:33Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)
• Daydream: Accurately Estimating the Efficacy of Optimizations for DNN Training [8.157520622932374]
  プロファイリングツールは、“最適化Xは私のモデルの性能にどのように影響するのか? プログラマがDNN最適化の有効性を効率的に探求するのに役立つ新しいプロファイリングツールであるDaydreamを提案する。 本研究では,Daydreamが主流のDNN最適化手法をモデル化し,性能改善をもたらす最適化の有効性を正確に予測できることを示す。
  論文  参考訳（メタデータ） (2020-06-05T09:08:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。