論文の概要: CONCERTO: Complex Query Execution Mechanism-Aware Learned Cost Estimation

• arxiv url: http://arxiv.org/abs/2412.00749v2
• Date: Fri, 28 Mar 2025 12:47:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:06:05.960845
• Title: CONCERTO: Complex Query Execution Mechanism-Aware Learned Cost Estimation
• Title（参考訳）: CONCERTO: 複雑なクエリ実行機構-学習コストの推定
• Authors: Kaixin Zhang, Hongzhi Wang, Kunkai Gu, Ziqi Li, Chunyu Zhao, Yingze Li, Yu Yan,
• Abstract要約: 本稿では,ConCERTOを提案する。ConCERTOは,複雑なクエリ実行子であるmeChanism-awaE leaRned cosT estimatiOn法である。 ConCERTOはまず、各物理演算子に対して独立したリソースコストモデルを確立する。 次に、データフローツリーのバックボーンとコンカレント演算子間のリソース競合関係からなるDAG(Directed Acyclic Graph)を構築する。
• 参考スコア（独自算出の注目度）: 8.024724736461328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the growing demand for massive data analysis, many DBMSs have adopted complex underlying query execution mechanisms, including vectorized operators, parallel execution, and dynamic pipeline modifications. However, there remains a lack of targeted Query Performance Prediction (QPP) methods for these complex execution mechanisms and their interactions, as most existing approaches focus on traditional tree-shaped query plans and static serial executors. To address this challenge, this paper proposes CONCERTO, a Complex query executiON meChanism-awaE leaRned cosT estimatiOn method. CONCERTO first establishes independent resource cost models for each physical operator. It then constructs a Directed Acyclic Graph (DAG) consisting of a dataflow tree backbone and resource competition relationships among concurrent operators. After calibrating the cost impact of parallel operator execution using Graph Attention Networks (GATs) with additional attention mechanisms, CONCERTO extracts and aggregates cost vector trees through Temporal Convolutional Networks (TCNs), ultimately achieving effective query performance prediction. Experimental results demonstrate that CONCERTO achieves higher prediction accuracy than existing methods.
• Abstract（参考訳）: 大量のデータ分析の需要が高まっているため、多くのDBMSはベクトル化演算子、並列実行、動的パイプライン修正など、複雑なクエリ実行メカニズムを採用している。 しかしながら、これらの複雑な実行メカニズムとその相互作用に対するターゲットクエリパフォーマンス予測(QPP)メソッドは、従来型のクエリプランや静的シリアルエグゼキュータに重点を置いている。 この課題に対処するために,ConCERTO(ConcERTO, Complex query executiON meChanism-awaE leaRned cosT estimatiOn)を提案する。 CONCERTOはまず、各物理演算子に対して独立したリソースコストモデルを確立する。 次に、データフローツリーのバックボーンとコンカレント演算子間のリソース競合関係からなるDAG(Directed Acyclic Graph)を構築する。 グラフ注意ネットワーク(GAT)を付加的な注意機構で並列演算子実行のコスト効果を校正した後、ConCERTOは時間畳み込みネットワーク(TCN)を通じてコストベクトルツリーを抽出・集約し、最終的に効率的なクエリ性能予測を実現する。 実験の結果,CONCERTOは既存の手法よりも高い精度で予測できることがわかった。

関連論文リスト

• BQSched: A Non-intrusive Scheduler for Batch Concurrent Queries via Reinforcement Learning [7.738546538164454]
  データパイプライン全体の規模を最小化する上で重要な問題は、並列クエリの効率的なスケジューリングである。 我々の知る限り、BQSchedは強化学習による最初の非侵襲的なバッチクエリスケジューラである。 大規模な実験により、BQSchedはバッチクエリスケジューリングの効率と安定性を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2025-04-27T07:49:01Z)
• Uncovering the Limitations of Query Performance Prediction: Failures, Insights, and Implications for Selective Query Processing [3.463527836552468]
  本稿では,最先端QPP(NQC,UQC)の総合評価を行う。 我々は、多様なスパースローダ(BM25、DFree、クエリ拡張なし)とハイブリッドまたは高密度(SPLADE、ColBert)と多様なテストコレクションROBUST、GOV2、WT10G、MS MARCOを使用します。 結果は予測器の精度に有意なばらつきを示し, コレクションを主要因とし, 次にランク付けを行う。
  論文  参考訳（メタデータ） (2025-04-01T18:18:21Z)
• PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem Solving [89.60370366013142]
  制約,検証,選択という3つの重要な要素を持つモデルに依存しない,スケーラブルなエージェントフレームワークであるPlanGENを提案する。 具体的には、推論時間アルゴリズムの性能を向上させるために、制約誘導反復検証を提案する。
  論文  参考訳（メタデータ） (2025-02-22T06:21:56Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Query Performance Explanation through Large Language Model for HTAP Systems [8.278943524339264]
  ハイブリッドトランザクションおよび分析処理システムでは、ユーザは、あるエンジンからのクエリプランが他のエンジンよりも遅い理由を理解するのに苦労することが多い。 本稿では,大規模言語モデル(LLM)を活用して,HTAPシステムにおけるクエリ性能を説明する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-02T16:55:07Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
  我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。 分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。 BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-09-21T18:39:53Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Localized RETE for Incremental Graph Queries [1.3858051019755282]
  局所的かつ完全にインクリメンタルな実行グラフクエリを可能にする拡張セマンティクスを提案する。 提案手法は, メモリ消費や実行時間に関する性能を良好に向上させることができるが, 顕著な線形オーバーヘッドが生じる可能性がある。
  論文  参考訳（メタデータ） (2024-05-02T10:00:37Z)
• JoinGym: An Efficient Query Optimization Environment for Reinforcement Learning [58.71541261221863]
  結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。 木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。 JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
  論文  参考訳（メタデータ） (2023-07-21T17:00:06Z)
• Kepler: Robust Learning for Faster Parametric Query Optimization [5.6119420695093245]
  パラメトリッククエリ最適化のためのエンドツーエンドの学習ベースアプローチを提案する。 Keplerは、複数のデータセット上でのクエリランタイムの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-06-11T22:39:28Z)
• Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
  TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。 我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。 実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T06:02:01Z)
• BitE : Accelerating Learned Query Optimization in a Mixed-Workload Environment [0.36700088931938835]
  BitEは、データベース統計とメタデータを使用して、学習したクエリをチューニングしてパフォーマンスを向上させる、新しいアンサンブル学習モデルである。 我々のモデルは従来の手法に比べて19.6%改善されたクエリと15.8%改善されたクエリを実現している。
  論文  参考訳（メタデータ） (2023-06-01T16:05:33Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Neural-Symbolic Entangled Framework for Complex Query Answering [22.663509971491138]
  複雑な問合せ応答のためのニューラル・アンド・エンタングルド・フレームワーク(ENeSy)を提案する。 これにより、ニューラルネットワークとシンボリック推論が互いに強化され、カスケードエラーとKGの不完全性が軽減される。 ENeSyは、特にリンク予測タスクのみでトレーニングモデルの設定において、いくつかのベンチマークでSOTA性能を達成する。
  論文  参考訳（メタデータ） (2022-09-19T06:07:10Z)
• Entailment Tree Explanations via Iterative Retrieval-Generation Reasoner [56.08919422452905]
  我々はIRGR(Iterative Retrieval-Generation Reasoner)と呼ばれるアーキテクチャを提案する。 本モデルでは,テキストの前提からステップバイステップの説明を体系的に生成することにより,与えられた仮説を説明することができる。 前提条件の検索と細分化木の生成に関する既存のベンチマークを上回り、全体の正しさはおよそ300%向上した。
  論文  参考訳（メタデータ） (2022-05-18T21:52:11Z)
• Multi-task Learning of Order-Consistent Causal Graphs [59.9575145128345]
  我々は、$K関連ガウス非巡回グラフ(DAG)の発見問題を考える。 マルチタスク学習環境下では, 線形構造方程式モデルを学習するためのMLE ($l_1/l$-regularized maximum chance estimator) を提案する。 理論的には、関係するタスクにまたがるデータを活用することで、因果順序を復元する際のサンプルの複雑さをより高めることができることを示す。
  論文  参考訳（メタデータ） (2021-11-03T22:10:18Z)
• Multi-layer Optimizations for End-to-End Data Analytics [71.05611866288196]
  代替アプローチを実現するフレームワークであるIFAQ(Iterative Functional Aggregate Queries)を紹介する。 IFAQは、特徴抽出クエリと学習タスクを、IFAQのドメイン固有言語で与えられた1つのプログラムとして扱う。 IFAQ の Scala 実装が mlpack,Scikit,特殊化を数桁で上回り,線形回帰木モデルや回帰木モデルを複数の関係データセット上で処理可能であることを示す。
  論文  参考訳（メタデータ） (2020-01-10T16:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。