論文の概要: Duet: efficient and scalable hybriD neUral rElation undersTanding
- arxiv url: http://arxiv.org/abs/2307.13494v3
- Date: Thu, 27 Jul 2023 08:40:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-28 11:30:17.842991
- Title: Duet: efficient and scalable hybriD neUral rElation undersTanding
- Title（参考訳）: デュエット:効率的でスケーラブルなヒブリド・ネウラル・リレーション・アンダースタンディング
- Authors: Kaixin Zhang, Hongzhi Wang, Yabin Lu, Ziqi Li, Chang Shu, Yu Yan,
Donghua Yang
- Abstract要約: デュエットは、サンプリングや微分不可能なプロセスなしで直接濃度を推定する安定で効率的でスケーラブルなハイブリッド手法である。
我々は、Duetが上記の設計目標をすべて達成し、ずっと実用的で、GPU上のほとんどの学習したメソッドよりもCPU上での推論コストが低いことを示している。
- 参考スコア（独自算出の注目度）: 9.89249804009624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learned cardinality estimation methods have achieved high precision compared
to traditional methods. Among learned methods, query-driven approaches face the
data and workload drift problem for a long time. Although both query-driven and
hybrid methods are proposed to avoid this problem, even the state-of-art of
them suffer from high training and estimation costs, limited scalability,
instability, and long-tailed distribution problem on high cardinality and high
dimensional tables, which seriously affects the practical application of
learned cardinality estimators. In this paper, we prove that most of these
problems are directly caused by the widely used progressive sampling. We solve
this problem by introducing predicates into the autoregressive model and
propose Duet, a stable, efficient, and scalable hybrid method to estimate
cardinality directly without sampling or any non-differentiable process, which
can not only reduces the inference complexity from $O(n)$ to $O(1)$ compared to
Naru and UAE but also achieve higher accuracy on high cardinality and high
dimensional tables. Experimental results show that Duet can achieve all the
design goals above and be much more practical and even has a lower inference
cost on CPU than that of most learned methods on GPU.
- Abstract（参考訳）: 学習された濃度推定法は従来の手法に比べて高精度である。
学習した方法の中で、クエリ駆動アプローチは、データとワークロードのドリフトの問題に長い間直面する。
クエリ駆動手法とハイブリッド方式の両方がこの問題を回避するために提案されているが、それらのうちの最先端技術でさえ高いトレーニングと推定コスト、限られたスケーラビリティ、不安定性、高濃度および高次元テーブル上の長期分布問題に悩まされており、これは学習された濃度推定器の実践的応用に大きな影響を及ぼす。
本稿では,これらの問題のほとんどが,広く用いられているプログレッシブサンプリングによるものであることを実証する。
本稿では, 自己回帰モデルに述語を導入し, サンプリングや非微分可能プロセスなしに, 濃度を直接推定する安定かつ効率的でスケーラブルなハイブリッド手法であるDuetを提案し, 推定複雑性をナルーやUAEと比較して$O(n)$から$O(1)$に低減できるだけでなく, 高濃度および高次元テーブル上で高い精度を実現する。
実験の結果、Duetは上記のすべての設計目標を達成でき、より実用的であり、GPU上のほとんどの学習した手法よりもCPU上での推論コストが低いことがわかった。
関連論文リスト
- Deep Data Consistency: a Fast and Robust Diffusion Model-based Solver for Inverse Problems [0.0]
本研究では,拡散モデルを用いた逆問題解法において,データ一貫性ステップをディープラーニングモデルで更新するディープデータ一貫性(DDC)を提案する。
線形および非線形タスクにおける最先端手法と比較して、DDCは類似度と実性の両方の指標の優れた性能を示す。
論文 参考訳（メタデータ） (2024-05-17T12:54:43Z) - Stochastic Amortization: A Unified Approach to Accelerate Feature and Data Attribution [62.71425232332837]
雑音ラベル付きモデルを用いたトレーニングは安価で驚くほど効果的であることを示す。
このアプローチは、いくつかの特徴属性とデータ評価手法を著しく加速し、しばしば既存のアプローチよりも桁違いにスピードアップする。
論文 参考訳（メタデータ） (2024-01-29T03:42:37Z) - Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [45.76310830281876]
量子回帰に基づくタスクネットワークのアンサンブルを用いて不確実性を推定する新しい手法であるQuantile Sub-Ensemblesを提案する。
提案手法は,高い損失率に頑健な高精度な計算法を生成するだけでなく,非生成モデルの高速な学習により,計算効率も向上する。
論文 参考訳（メタデータ） (2023-12-03T05:52:30Z) - Online non-parametric likelihood-ratio estimation by Pearson-divergence
functional minimization [55.98760097296213]
iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。
本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
論文 参考訳（メタデータ） (2023-11-03T13:20:11Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳（メタデータ） (2022-08-11T22:27:22Z) - Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。
提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
論文 参考訳（メタデータ） (2022-04-23T02:45:55Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳（メタデータ） (2021-05-11T03:38:16Z) - End-to-End Training of CNN Ensembles for Person Re-Identification [0.0]
本稿では,識別モデルにおける過剰適合問題に対処するため,個人再識別のためのエンドツーエンドアンサンブル手法を提案する。
提案するアンサンブル学習フレームワークは,1つのDenseNetで多種多様な,正確なベースラーニングを行う。
いくつかのベンチマークデータセットを用いた実験により,本手法が最先端の結果を得ることを示す。
論文 参考訳（メタデータ） (2020-10-03T12:40:13Z) - An Online Method for A Class of Distributionally Robust Optimization
with Non-Convex Objectives [54.29001037565384]
本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。
本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
論文 参考訳（メタデータ） (2020-06-17T20:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。