論文の概要: Low Rank Learning for Offline Query Optimization
- arxiv url: http://arxiv.org/abs/2504.06399v1
- Date: Tue, 08 Apr 2025 19:41:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-10 16:14:44.850051
- Title: Low Rank Learning for Offline Query Optimization
- Title（参考訳）: オフラインクエリ最適化のための低ランク学習
- Authors: Zixuan Yi, Yao Tian, Zachary G. Ives, Ryan Marcus,
- Abstract要約: 近年の学習クエリのデプロイでは、高価なニューラルネットワークとアドホック検索ポリシが使用されている。
低ランク学習を利用したオフラインクエリ最適化フレームワークである textscLimeQO を紹介する。
作業負荷を部分的に観測された低ランク行列としてモデル化することにより、純粋に線形な手法を用いて、観測されていないクエリプランのレイテンシを予測する。
- 参考スコア（独自算出の注目度）: 9.66585417707793
- License:
- Abstract: Recent deployments of learned query optimizers use expensive neural networks and ad-hoc search policies. To address these issues, we introduce \textsc{LimeQO}, a framework for offline query optimization leveraging low-rank learning to efficiently explore alternative query plans with minimal resource usage. By modeling the workload as a partially observed, low-rank matrix, we predict unobserved query plan latencies using purely linear methods, significantly reducing computational overhead compared to neural networks. We formalize offline exploration as an active learning problem, and present simple heuristics that reduces a 3-hour workload to 1.5 hours after just 1.5 hours of exploration. Additionally, we propose a transductive Tree Convolutional Neural Network (TCNN) that, despite higher computational costs, achieves the same workload reduction with only 0.5 hours of exploration. Unlike previous approaches that place expensive neural networks directly in the query processing ``hot'' path, our approach offers a low-overhead solution and a no-regressions guarantee, all without making assumptions about the underlying DBMS. The code is available in \href{https://github.com/zixy17/LimeQO}{https://github.com/zixy17/LimeQO}.
- Abstract（参考訳）: 近年の学習クエリオプティマイザのデプロイメントでは、高価なニューラルネットワークとアドホック検索ポリシが使用されている。
これらの問題に対処するために,低ランク学習を活用したオフラインクエリ最適化のためのフレームワークである‘textsc{LimeQO} を導入し,リソース使用量を最小限に抑えた代替クエリプランを効率的に探索する。
作業負荷を部分的に観測された低ランク行列としてモデル化することにより、純粋に線形な手法を用いて、観測されていないクエリプランのレイテンシを予測し、ニューラルネットワークと比較して計算オーバーヘッドを大幅に削減する。
オフライン探索をアクティブな学習問題として定式化し、わずか1.5時間で3時間の作業負荷を1.5時間に短縮する単純なヒューリスティックスを示す。
さらに,計算コストが高いにもかかわらず,0.5時間の探索で同じ作業量削減を実現するトランスダクティブツリー畳み込みニューラルネットワーク(TCNN)を提案する。
クエリ処理の ``hot'' パスに高価なニューラルネットワークを直接配置する従来のアプローチとは異なり、我々のアプローチは、基盤となる DBMS について仮定することなく、低オーバーヘッドソリューションと非回帰保証を提供する。
コードは \href{https://github.com/zixy17/LimeQO}{https://github.com/zixy17/LimeQO} で公開されている。
関連論文リスト
- Learning RL-Policies for Joint Beamforming Without Exploration: A Batch
Constrained Off-Policy Approach [1.0080317855851213]
本稿では,ネットワークにおけるパラメータキャンセル最適化の問題点について考察する。
探索と学習のために実世界でアルゴリズムをデプロイすることは、探索せずにデータによって達成できることを示す。
論文 参考訳（メタデータ） (2023-10-12T18:36:36Z) - Unsupervised Learning for Solving the Travelling Salesman Problem [28.62497359169851]
旅行セールスマン問題(TSP)を解決するための教師なし学習フレームワークUTSPを提案する。
我々は、代理損失を用いてグラフニューラルネットワーク(GNN)を訓練する。GNNは、各エッジが最適経路の一部である確率を表すヒートマップを出力する。
次に、熱マップに基づいて最終予測を生成するために局所探索を適用する。
論文 参考訳（メタデータ） (2023-03-19T02:30:27Z) - Learning To Dive In Branch And Bound [95.13209326119153]
グラフニューラルネットワークを用いて特定の潜水構造を学習するためのL2Diveを提案する。
我々は、変数の割り当てを予測するために生成モデルを訓練し、線形プログラムの双対性を利用して潜水決定を行う。
論文 参考訳（メタデータ） (2023-01-24T12:01:45Z) - TransPath: Learning Heuristics For Grid-Based Pathfinding via
Transformers [64.88759709443819]
探索の効率を顕著に向上させると考えられる,インスタンス依存のプロキシを学習することを提案する。
私たちが最初に学ぶことを提案するプロキシは、補正係数、すなわち、インスタンスに依存しないコスト・ツー・ゴの見積もりと完璧な見積もりの比率である。
第2のプロキシはパス確率であり、グリッドセルが最も短いパスに横たわっている可能性を示している。
論文 参考訳（メタデータ） (2022-12-22T14:26:11Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳（メタデータ） (2022-10-14T01:42:05Z) - Training Overparametrized Neural Networks in Sublinear Time [14.918404733024332]
ディープラーニングには膨大な計算とエネルギーのコストが伴う。
探索木の小さな部分集合として、二分ニューラルネットワークの新しいサブセットを示し、それぞれが探索木のサブセット(Ds)に対応する。
我々はこの見解が深層ネットワーク(Ds)の分析解析にさらに応用できると考えている。
論文 参考訳（メタデータ） (2022-08-09T02:29:42Z) - Reinforcement Learning for Branch-and-Bound Optimisation using
Retrospective Trajectories [72.15369769265398]
機械学習は分岐のための有望なパラダイムとして登場した。
分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。
我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
論文 参考訳（メタデータ） (2022-05-28T06:08:07Z) - Algorithms for Efficiently Learning Low-Rank Neural Networks [12.916132936159713]
低ランクニューラルネットワークの学習アルゴリズムについて検討する。
単層ReLUネットワークに最適な低ランク近似を学習するアルゴリズムを提案する。
低ランク$textitdeep$ネットワークをトレーニングするための新しい低ランクフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-02T01:08:29Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - Optimal Stopping via Randomized Neural Networks [6.677219861416146]
本稿では、標準基底関数やディープニューラルネットワークの代わりにランダム化されたニューラルネットワークを使用することの利点について述べる。
我々のアプローチは、既存のアプローチがますます非現実的になるような高次元問題に適用できる。
いずれにせよ、我々のアルゴリズムは、最先端や他の関連する機械学習アプローチよりも時間的に優れている。
論文 参考訳（メタデータ） (2021-04-28T09:47:21Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-07T14:19:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。