論文の概要: Duet: efficient and scalable hybriD neUral rElation undersTanding
- arxiv url: http://arxiv.org/abs/2307.13494v1
- Date: Tue, 25 Jul 2023 13:42:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-26 16:56:16.878444
- Title: Duet: efficient and scalable hybriD neUral rElation undersTanding
- Title（参考訳）: デュエット:効率的でスケーラブルなヒブリド・ネウラル・リレーション・アンダースタンディング
- Authors: Kaixin Zhang, Hongzhi Wang, Yabin Lu, Ziqi Li, Chang Shu, Yu Yan,
Donghua Yang
- Abstract要約: 濃度推定問題に対する新しいハイブリッド・決定論的モデリング手法(Duet)を提案する。
デュエットは、時間とメモリコストを大幅に低減したレンジクエリの直接濃度推定を可能にする。
従来のデータセットとベンチマークに基づいてDuetを評価し,Duetの有効性を実証した。
- 参考スコア（独自算出の注目度）: 9.89249804009624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cardinality estimation methods based on probability distribution estimation
have achieved high-precision estimation results compared to traditional
methods. However, the most advanced methods suffer from high estimation costs
due to the sampling method they use when dealing with range queries. Also, such
a sampling method makes them difficult to differentiate, so the supervision
signal from the query workload is difficult to train the model to improve the
accuracy of cardinality estimation. In this paper, we propose a new hybrid and
deterministic modeling approach (Duet) for the cardinality estimation problem
which has better efficiency and scalability compared to previous approaches.
Duet allows for direct cardinality estimation of range queries with
significantly lower time and memory costs, as well as in a differentiable form.
As the prediction process of this approach is differentiable, we can
incorporate queries with larger model estimation errors into the training
process to address the long-tail distribution problem of model estimation
errors on high dimensional tables. We evaluate Duet on classical datasets and
benchmarks, and the results prove the effectiveness of Duet.
- Abstract（参考訳）: 確率分布推定に基づく濃度推定手法は従来の手法と比較して高精度な推定結果を得た。
しかし、最も先進的な手法は、レンジクエリを扱う際に使用するサンプリング手法により、高い推定コストに悩まされる。
また,このようなサンプリング手法では区別が困難であり,問合せ作業からの監視信号はモデルの訓練が困難となり,濃度推定の精度が向上する。
本稿では,従来の手法に比べて効率とスケーラビリティがよい濃度推定問題に対して,新しいハイブリッド・決定論的モデリング手法(Duet)を提案する。
デュエットは、時間とメモリコストを大幅に低減したレンジクエリの直接濃度推定と、微分可能な形式を可能にする。
このアプローチの予測過程が微分可能であるため,モデル推定誤差が大きいクエリをトレーニングプロセスに組み込むことで,高次元テーブル上でのモデル推定誤差の長期分布問題に対処することができる。
従来のデータセットとベンチマークに基づいてDuetを評価し,Duetの有効性を実証した。
関連論文リスト
- Deep Data Consistency: a Fast and Robust Diffusion Model-based Solver for Inverse Problems [0.0]
本研究では,拡散モデルを用いた逆問題解法において,データ一貫性ステップをディープラーニングモデルで更新するディープデータ一貫性(DDC)を提案する。
線形および非線形タスクにおける最先端手法と比較して、DDCは類似度と実性の両方の指標の優れた性能を示す。
論文 参考訳（メタデータ） (2024-05-17T12:54:43Z) - Stochastic Amortization: A Unified Approach to Accelerate Feature and Data Attribution [62.71425232332837]
雑音ラベル付きモデルを用いたトレーニングは安価で驚くほど効果的であることを示す。
このアプローチは、いくつかの特徴属性とデータ評価手法を著しく加速し、しばしば既存のアプローチよりも桁違いにスピードアップする。
論文 参考訳（メタデータ） (2024-01-29T03:42:37Z) - Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [45.76310830281876]
量子回帰に基づくタスクネットワークのアンサンブルを用いて不確実性を推定する新しい手法であるQuantile Sub-Ensemblesを提案する。
提案手法は,高い損失率に頑健な高精度な計算法を生成するだけでなく,非生成モデルの高速な学習により,計算効率も向上する。
論文 参考訳（メタデータ） (2023-12-03T05:52:30Z) - Online non-parametric likelihood-ratio estimation by Pearson-divergence
functional minimization [55.98760097296213]
iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。
本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
論文 参考訳（メタデータ） (2023-11-03T13:20:11Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳（メタデータ） (2022-08-11T22:27:22Z) - Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。
提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
論文 参考訳（メタデータ） (2022-04-23T02:45:55Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳（メタデータ） (2021-05-11T03:38:16Z) - End-to-End Training of CNN Ensembles for Person Re-Identification [0.0]
本稿では,識別モデルにおける過剰適合問題に対処するため,個人再識別のためのエンドツーエンドアンサンブル手法を提案する。
提案するアンサンブル学習フレームワークは,1つのDenseNetで多種多様な,正確なベースラーニングを行う。
いくつかのベンチマークデータセットを用いた実験により,本手法が最先端の結果を得ることを示す。
論文 参考訳（メタデータ） (2020-10-03T12:40:13Z) - An Online Method for A Class of Distributionally Robust Optimization
with Non-Convex Objectives [54.29001037565384]
本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。
本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
論文 参考訳（メタデータ） (2020-06-17T20:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。