論文の概要: MERLIN: Multi-stagE query performance prediction for dynamic paRallel oLap pIpeliNe

• arxiv url: http://arxiv.org/abs/2412.00749v1
• Date: Sun, 01 Dec 2024 09:58:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 21:11:22.160729
• Title: MERLIN: Multi-stagE query performance prediction for dynamic paRallel oLap pIpeliNe
• Title（参考訳）: MERLIN: 動的paRallel oLap pipeliNeのマルチタグクエリ性能予測
• Authors: Kaixin Zhang, Hongzhi Wang, Kunkai Gu, Ziqi Li, Chunyu Zhao, Yingze Li, Yu Yan,
• Abstract要約: 大規模データ分析の需要が高まるにつれて、高性能なOLAPデータベース技術が出現している。 多くの実行者はSIMD演算子、並列実行、動的パイプライン修正などの高度な設計を採用する。 MERLINは、高性能OLAPのためのマルチステージクエリ性能予測手法である。
• 参考スコア（独自算出の注目度）: 8.024724736461328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-performance OLAP database technology has emerged with the growing demand for massive data analysis. To achieve much higher performance, many DBMSs adopt sophisticated designs including SIMD operators, parallel execution, and dynamic pipeline modification. However, such advanced OLAP query execution mechanisms still lack targeted Query Performance Prediction (QPP) methods because most existing methods target conventional tree-shaped query plans and static serial executors. To address this problem, in this paper, we proposed MERLIN a multi-stage query performance prediction method for high-performance OLAP DBMSs. MERLIN first establishes resource cost models for each physical operator. Then, it constructs a DAG that consists of a data-flow tree backbone and resource competition relationships among concurrent operators. After using a GAT with an extra attention mechanism to calibrate the cost, the cost vector tree is extracted and summarized by a TCN, ultimately enabling effective query performance prediction. Experimental results demonstrate that MERLIN yields higher performance prediction precision than existing methods.
• Abstract（参考訳）: 大規模データ分析の需要が高まるにつれて、高性能なOLAPデータベース技術が出現している。 より高い性能を達成するため、多くのDBMSはSIMD演算子、並列実行、動的パイプライン修正などの高度な設計を採用する。 しかし,従来の木型クエリプランや静的シリアルエグゼキュータを対象とする手法では,クエリ性能予測(QPP)手法がまだ存在しない。 本稿では,高性能OLAP DBMSのマルチステージクエリ性能予測手法であるMERLINを提案する。 MERLINはまず、各物理演算子のリソースコストモデルを確立する。 次に、データフローツリーのバックボーンと、コンカレント演算子間のリソース競合関係からなるDAGを構築する。 コストを調整するために追加の注意機構を備えたGATを使用した後、コストベクターツリーをTCLによって抽出して要約し、最終的に効率的なクエリ性能予測を可能にする。 実験により,MERLINは既存手法よりも高い性能予測精度が得られることが示された。

関連論文リスト

• BQSched: A Non-intrusive Scheduler for Batch Concurrent Queries via Reinforcement Learning [7.738546538164454]
  データパイプライン全体の規模を最小化する上で重要な問題は、並列クエリの効率的なスケジューリングである。 我々の知る限り、BQSchedは強化学習による最初の非侵襲的なバッチクエリスケジューラである。 大規模な実験により、BQSchedはバッチクエリスケジューリングの効率と安定性を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2025-04-27T07:49:01Z)
• Uncovering the Limitations of Query Performance Prediction: Failures, Insights, and Implications for Selective Query Processing [3.463527836552468]
  本稿では,最先端QPP(NQC,UQC)の総合評価を行う。 我々は、多様なスパースローダ(BM25、DFree、クエリ拡張なし)とハイブリッドまたは高密度(SPLADE、ColBert)と多様なテストコレクションROBUST、GOV2、WT10G、MS MARCOを使用します。 結果は予測器の精度に有意なばらつきを示し, コレクションを主要因とし, 次にランク付けを行う。
  論文  参考訳（メタデータ） (2025-04-01T18:18:21Z)
• PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem Solving [89.60370366013142]
  制約,検証,選択という3つの重要な要素を持つモデルに依存しない,スケーラブルなエージェントフレームワークであるPlanGENを提案する。 具体的には、推論時間アルゴリズムの性能を向上させるために、制約誘導反復検証を提案する。
  論文  参考訳（メタデータ） (2025-02-22T06:21:56Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Query Performance Explanation through Large Language Model for HTAP Systems [8.278943524339264]
  ハイブリッドトランザクションおよび分析処理システムでは、ユーザは、あるエンジンからのクエリプランが他のエンジンよりも遅い理由を理解するのに苦労することが多い。 本稿では,大規模言語モデル(LLM)を活用して,HTAPシステムにおけるクエリ性能を説明する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-02T16:55:07Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
  我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。 分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。 BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-09-21T18:39:53Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Localized RETE for Incremental Graph Queries [1.3858051019755282]
  局所的かつ完全にインクリメンタルな実行グラフクエリを可能にする拡張セマンティクスを提案する。 提案手法は, メモリ消費や実行時間に関する性能を良好に向上させることができるが, 顕著な線形オーバーヘッドが生じる可能性がある。
  論文  参考訳（メタデータ） (2024-05-02T10:00:37Z)
• JoinGym: An Efficient Query Optimization Environment for Reinforcement Learning [58.71541261221863]
  結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。 木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。 JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
  論文  参考訳（メタデータ） (2023-07-21T17:00:06Z)
• Kepler: Robust Learning for Faster Parametric Query Optimization [5.6119420695093245]
  パラメトリッククエリ最適化のためのエンドツーエンドの学習ベースアプローチを提案する。 Keplerは、複数のデータセット上でのクエリランタイムの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-06-11T22:39:28Z)
• Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
  TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。 我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。 実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T06:02:01Z)
• BitE : Accelerating Learned Query Optimization in a Mixed-Workload Environment [0.36700088931938835]
  BitEは、データベース統計とメタデータを使用して、学習したクエリをチューニングしてパフォーマンスを向上させる、新しいアンサンブル学習モデルである。 我々のモデルは従来の手法に比べて19.6%改善されたクエリと15.8%改善されたクエリを実現している。
  論文  参考訳（メタデータ） (2023-06-01T16:05:33Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Neural-Symbolic Entangled Framework for Complex Query Answering [22.663509971491138]
  複雑な問合せ応答のためのニューラル・アンド・エンタングルド・フレームワーク(ENeSy)を提案する。 これにより、ニューラルネットワークとシンボリック推論が互いに強化され、カスケードエラーとKGの不完全性が軽減される。 ENeSyは、特にリンク予測タスクのみでトレーニングモデルの設定において、いくつかのベンチマークでSOTA性能を達成する。
  論文  参考訳（メタデータ） (2022-09-19T06:07:10Z)
• Entailment Tree Explanations via Iterative Retrieval-Generation Reasoner [56.08919422452905]
  我々はIRGR(Iterative Retrieval-Generation Reasoner)と呼ばれるアーキテクチャを提案する。 本モデルでは,テキストの前提からステップバイステップの説明を体系的に生成することにより,与えられた仮説を説明することができる。 前提条件の検索と細分化木の生成に関する既存のベンチマークを上回り、全体の正しさはおよそ300%向上した。
  論文  参考訳（メタデータ） (2022-05-18T21:52:11Z)
• Multi-task Learning of Order-Consistent Causal Graphs [59.9575145128345]
  我々は、$K関連ガウス非巡回グラフ(DAG)の発見問題を考える。 マルチタスク学習環境下では, 線形構造方程式モデルを学習するためのMLE ($l_1/l$-regularized maximum chance estimator) を提案する。 理論的には、関係するタスクにまたがるデータを活用することで、因果順序を復元する際のサンプルの複雑さをより高めることができることを示す。
  論文  参考訳（メタデータ） (2021-11-03T22:10:18Z)
• Multi-layer Optimizations for End-to-End Data Analytics [71.05611866288196]
  代替アプローチを実現するフレームワークであるIFAQ(Iterative Functional Aggregate Queries)を紹介する。 IFAQは、特徴抽出クエリと学習タスクを、IFAQのドメイン固有言語で与えられた1つのプログラムとして扱う。 IFAQ の Scala 実装が mlpack,Scikit,特殊化を数桁で上回り,線形回帰木モデルや回帰木モデルを複数の関係データセット上で処理可能であることを示す。
  論文  参考訳（メタデータ） (2020-01-10T16:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。