論文の概要: Duet: efficient and scalable hybriD neUral rElation undersTanding
- arxiv url: http://arxiv.org/abs/2307.13494v1
- Date: Tue, 25 Jul 2023 13:42:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-26 16:56:16.878444
- Title: Duet: efficient and scalable hybriD neUral rElation undersTanding
- Title（参考訳）: デュエット:効率的でスケーラブルなヒブリド・ネウラル・リレーション・アンダースタンディング
- Authors: Kaixin Zhang, Hongzhi Wang, Yabin Lu, Ziqi Li, Chang Shu, Yu Yan,
Donghua Yang
- Abstract要約: 濃度推定問題に対する新しいハイブリッド・決定論的モデリング手法(Duet)を提案する。
デュエットは、時間とメモリコストを大幅に低減したレンジクエリの直接濃度推定を可能にする。
従来のデータセットとベンチマークに基づいてDuetを評価し,Duetの有効性を実証した。
- 参考スコア（独自算出の注目度）: 9.89249804009624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cardinality estimation methods based on probability distribution estimation
have achieved high-precision estimation results compared to traditional
methods. However, the most advanced methods suffer from high estimation costs
due to the sampling method they use when dealing with range queries. Also, such
a sampling method makes them difficult to differentiate, so the supervision
signal from the query workload is difficult to train the model to improve the
accuracy of cardinality estimation. In this paper, we propose a new hybrid and
deterministic modeling approach (Duet) for the cardinality estimation problem
which has better efficiency and scalability compared to previous approaches.
Duet allows for direct cardinality estimation of range queries with
significantly lower time and memory costs, as well as in a differentiable form.
As the prediction process of this approach is differentiable, we can
incorporate queries with larger model estimation errors into the training
process to address the long-tail distribution problem of model estimation
errors on high dimensional tables. We evaluate Duet on classical datasets and
benchmarks, and the results prove the effectiveness of Duet.
- Abstract（参考訳）: 確率分布推定に基づく濃度推定手法は従来の手法と比較して高精度な推定結果を得た。
しかし、最も先進的な手法は、レンジクエリを扱う際に使用するサンプリング手法により、高い推定コストに悩まされる。
また,このようなサンプリング手法では区別が困難であり,問合せ作業からの監視信号はモデルの訓練が困難となり,濃度推定の精度が向上する。
本稿では,従来の手法に比べて効率とスケーラビリティがよい濃度推定問題に対して,新しいハイブリッド・決定論的モデリング手法(Duet)を提案する。
デュエットは、時間とメモリコストを大幅に低減したレンジクエリの直接濃度推定と、微分可能な形式を可能にする。
このアプローチの予測過程が微分可能であるため,モデル推定誤差が大きいクエリをトレーニングプロセスに組み込むことで,高次元テーブル上でのモデル推定誤差の長期分布問題に対処することができる。
従来のデータセットとベンチマークに基づいてDuetを評価し,Duetの有効性を実証した。
関連論文リスト
- Stepwise Perplexity-Guided Refinement for Efficient Chain-of-Thought Reasoning in Large Language Models [56.37421741507468]
CoT推論は大規模言語モデル(LLM)の性能を大幅に向上させた。
本稿では,その重要性の尺度としてパープレキシティを用いた批判的推論ステップの同定手法を提案する。
論文 参考訳（メタデータ） (2025-02-18T20:04:51Z) - A First-order Generative Bilevel Optimization Framework for Diffusion Models [57.40597004445473]
拡散モデルは、データサンプルを反復的に分解して高品質な出力を合成する。
従来の二値法は無限次元の確率空間と禁制的なサンプリングコストのために失敗する。
我々はこの問題を生成的二段階最適化問題として定式化する。
従来の2段階法と拡散過程の非互換性を克服する。
論文 参考訳（メタデータ） (2025-02-12T21:44:06Z) - Deep Data Consistency: a Fast and Robust Diffusion Model-based Solver for Inverse Problems [0.0]
本研究では,拡散モデルを用いた逆問題解法において,データ一貫性ステップをディープラーニングモデルで更新するディープデータ一貫性(DDC)を提案する。
線形および非線形タスクにおける最先端手法と比較して、DDCは類似度と実性の両方の指標の優れた性能を示す。
論文 参考訳（メタデータ） (2024-05-17T12:54:43Z) - Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [45.76310830281876]
量子回帰に基づくタスクネットワークのアンサンブルを用いて不確実性を推定する新しい手法であるQuantile Sub-Ensemblesを提案する。
提案手法は,高い損失率に頑健な高精度な計算法を生成するだけでなく,非生成モデルの高速な学習により,計算効率も向上する。
論文 参考訳（メタデータ） (2023-12-03T05:52:30Z) - Online non-parametric likelihood-ratio estimation by Pearson-divergence
functional minimization [55.98760097296213]
iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。
本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
論文 参考訳（メタデータ） (2023-11-03T13:20:11Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳（メタデータ） (2022-08-11T22:27:22Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳（メタデータ） (2021-05-11T03:38:16Z) - End-to-End Training of CNN Ensembles for Person Re-Identification [0.0]
本稿では,識別モデルにおける過剰適合問題に対処するため,個人再識別のためのエンドツーエンドアンサンブル手法を提案する。
提案するアンサンブル学習フレームワークは,1つのDenseNetで多種多様な,正確なベースラーニングを行う。
いくつかのベンチマークデータセットを用いた実験により,本手法が最先端の結果を得ることを示す。
論文 参考訳（メタデータ） (2020-10-03T12:40:13Z) - An Online Method for A Class of Distributionally Robust Optimization
with Non-Convex Objectives [54.29001037565384]
本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。
本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
論文 参考訳（メタデータ） (2020-06-17T20:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。