論文の概要: Duet: efficient and scalable hybriD neUral rElation undersTanding
- arxiv url: http://arxiv.org/abs/2307.13494v1
- Date: Tue, 25 Jul 2023 13:42:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-26 16:56:16.878444
- Title: Duet: efficient and scalable hybriD neUral rElation undersTanding
- Title(参考訳): デュエット:効率的でスケーラブルなヒブリド・ネウラル・リレーション・アンダースタンディング
- Authors: Kaixin Zhang, Hongzhi Wang, Yabin Lu, Ziqi Li, Chang Shu, Yu Yan,
Donghua Yang
- Abstract要約: 濃度推定問題に対する新しいハイブリッド・決定論的モデリング手法(Duet)を提案する。
デュエットは、時間とメモリコストを大幅に低減したレンジクエリの直接濃度推定を可能にする。
従来のデータセットとベンチマークに基づいてDuetを評価し,Duetの有効性を実証した。
- 参考スコア(独自算出の注目度): 9.89249804009624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cardinality estimation methods based on probability distribution estimation
have achieved high-precision estimation results compared to traditional
methods. However, the most advanced methods suffer from high estimation costs
due to the sampling method they use when dealing with range queries. Also, such
a sampling method makes them difficult to differentiate, so the supervision
signal from the query workload is difficult to train the model to improve the
accuracy of cardinality estimation. In this paper, we propose a new hybrid and
deterministic modeling approach (Duet) for the cardinality estimation problem
which has better efficiency and scalability compared to previous approaches.
Duet allows for direct cardinality estimation of range queries with
significantly lower time and memory costs, as well as in a differentiable form.
As the prediction process of this approach is differentiable, we can
incorporate queries with larger model estimation errors into the training
process to address the long-tail distribution problem of model estimation
errors on high dimensional tables. We evaluate Duet on classical datasets and
benchmarks, and the results prove the effectiveness of Duet.
- Abstract(参考訳): 確率分布推定に基づく濃度推定手法は従来の手法と比較して高精度な推定結果を得た。
しかし、最も先進的な手法は、レンジクエリを扱う際に使用するサンプリング手法により、高い推定コストに悩まされる。
また,このようなサンプリング手法では区別が困難であり,問合せ作業からの監視信号はモデルの訓練が困難となり,濃度推定の精度が向上する。
本稿では,従来の手法に比べて効率とスケーラビリティがよい濃度推定問題に対して,新しいハイブリッド・決定論的モデリング手法(Duet)を提案する。
デュエットは、時間とメモリコストを大幅に低減したレンジクエリの直接濃度推定と、微分可能な形式を可能にする。
このアプローチの予測過程が微分可能であるため,モデル推定誤差が大きいクエリをトレーニングプロセスに組み込むことで,高次元テーブル上でのモデル推定誤差の長期分布問題に対処することができる。
従来のデータセットとベンチマークに基づいてDuetを評価し,Duetの有効性を実証した。
関連論文リスト
- SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
拡散モデルに基づく超解像(SR)法は有望な結果を示す。
しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。
本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
論文 参考訳(メタデータ) (2023-11-23T16:21:29Z) - Online non-parametric likelihood-ratio estimation by Pearson-divergence
functional minimization [55.98760097296213]
iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。
本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
論文 参考訳(メタデータ) (2023-11-03T13:20:11Z) - Efficient Hybrid Oversampling and Intelligent Undersampling for
Imbalanced Big Data Classification [1.03590082373586]
本稿では,MapReduceフレームワークを用いて,インテリジェントアンダーサンプリングとオーバーサンプリングを組み合わせたSMOTENNという新しいリサンプリング手法を提案する。
実験の結果,この手法の利点が示され,小規模・中規模のデータセットに対する代替サンプリング技術よりも優れていた。
論文 参考訳(メタデータ) (2023-10-09T15:22:13Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳(メタデータ) (2022-08-11T22:27:22Z) - Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。
提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
論文 参考訳(メタデータ) (2022-04-23T02:45:55Z) - Distributionally Robust Optimization with Markovian Data [8.126833795693699]
本研究では,不確実な問題パラメータの確率分布が不明なプログラムについて検討する。
本稿では,問題の目的関数と最適解を推定するために,データ駆動型分布法を提案する。
論文 参考訳(メタデータ) (2021-06-12T10:59:02Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳(メタデータ) (2021-05-11T03:38:16Z) - End-to-End Training of CNN Ensembles for Person Re-Identification [0.0]
本稿では,識別モデルにおける過剰適合問題に対処するため,個人再識別のためのエンドツーエンドアンサンブル手法を提案する。
提案するアンサンブル学習フレームワークは,1つのDenseNetで多種多様な,正確なベースラーニングを行う。
いくつかのベンチマークデータセットを用いた実験により,本手法が最先端の結果を得ることを示す。
論文 参考訳(メタデータ) (2020-10-03T12:40:13Z) - An Online Method for A Class of Distributionally Robust Optimization
with Non-Convex Objectives [54.29001037565384]
本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。
本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
論文 参考訳(メタデータ) (2020-06-17T20:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。