論文の概要: DistJoin: A Decoupled Join Cardinality Estimator based on Adaptive Neural Predicate Modulation
- arxiv url: http://arxiv.org/abs/2503.08994v2
- Date: Mon, 08 Sep 2025 10:55:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-09 14:07:02.958417
- Title: DistJoin: A Decoupled Join Cardinality Estimator based on Adaptive Neural Predicate Modulation
- Title（参考訳）: DistJoin: 適応型ニューラル述語変調に基づく非結合型結合型心機能評価器
- Authors: Kaixin Zhang, Hongzhi Wang, Ziqi Li, Yabin Lu, Yingze Li, Yu Yan, Yiming Guan,
- Abstract要約: 多自己回帰モデルを用いた効率的な分布予測に基づく結合濃度推定器DistJoinを紹介する。
DistJoinは、データ更新に対する高い正確性、堅牢性、汎用性、および既存のメソッドに対する同等の更新と推論速度を緩和することを示した。
- 参考スコア（独自算出の注目度）: 11.506172695239576
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Research on learned cardinality estimation has made significant progress in recent years. However, existing methods still face distinct challenges that hinder their practical deployment in production environments. We define these challenges as the ``Trilemma of Cardinality Estimation'', where learned cardinality estimation methods struggle to balance generality, accuracy, and updatability. To address these challenges, we introduce DistJoin, a join cardinality estimator based on efficient distribution prediction using multi-autoregressive models. Our contributions are threefold: (1) We propose a method to estimate join cardinality by leveraging the probability distributions of individual tables in a decoupled manner. (2) To meet the requirements of efficiency for DistJoin, we develop Adaptive Neural Predicate Modulation (ANPM), a high-throughput distribution estimation model. (3) We demonstrate that an existing similar approach suffers from variance accumulation issues by formal variance analysis. To mitigate this problem, DistJoin employs a selectivity-based approach to infer join cardinality, effectively reducing variance. In summary, DistJoin not only represents the first data-driven method to support both equi and non-equi joins simultaneously but also demonstrates superior accuracy while enabling fast and flexible updates. The experimental results demonstrate that DistJoin achieves the highest accuracy, robustness to data updates, generality, and comparable update and inference speed relative to existing methods.
- Abstract（参考訳）: 学習基数推定に関する研究は近年大きな進歩を遂げている。
しかしながら、既存のメソッドは、運用環境への実践的なデプロイを妨げる、明確な課題に直面しています。
我々はこれらの課題を「心的推定のトリルムマ」と定義し、学習された濃度推定法は、一般性、正確性、データ化のバランスをとるのに苦労する。
これらの課題に対処するために,多自己回帰モデルを用いた効率的な分布予測に基づく結合濃度推定器であるDistJoinを紹介する。
1) 個々のテーブルの確率分布を疎結合的に利用して結合濃度を推定する手法を提案する。
2) DistJoin の効率の要求を満たすため,高スループット分布推定モデルである適応型ニューラル述語変調 (ANPM) を開発した。
(3) 既存の類似手法では, 形式的分散分析による分散蓄積問題に悩まされていることを示す。
この問題を緩和するため、DistJoinは結合の濃度を推定するために選択性に基づくアプローチを採用し、分散を効果的に減少させる。
要約すると、DistJoinは、equi結合と非equi結合の両方を同時にサポートする最初のデータ駆動メソッドであるだけでなく、高速で柔軟な更新を可能にしながら、優れた精度を示している。
実験の結果,DistJoinはデータ更新に対する高い精度,堅牢性,汎用性,既存手法と比較して同等の更新速度と推論速度を実現していることがわかった。
関連論文リスト
- Less is More: Efficient Black-box Attribution via Minimal Interpretable Subset Selection [52.716143424856185]
部分モジュラー部分集合選択の最適化問題として重要領域の帰属を再構成するLiMA(Less input is more faithful for Attribution)を提案する。
LiMAは、エラーを最小限に抑える最適な帰属境界を確保しながら、最も重要かつ最も重要でないサンプルを識別する。
また, 帰属効率が1.6倍に向上し, 帰属効率が向上した。
論文 参考訳（メタデータ） (2025-04-01T06:58:15Z) - Preference Construction: A Bayesian Interactive Preference Elicitation Framework Based on Monte Carlo Tree Search [6.473114631834851]
限定的な相互作用ラウンドにおいて、受講者の選好を効率的に捉えるための新しい選好学習フレームワークを提案する。
まず、参加者の嗜好モデルを予測するための変分ベイズ的アプローチを開発する。
第2に,累積不確実性低減を最大化する適応的問合せ政策を提案する。
第3に、このフレームワークを優先情報としてペア比較を行い、多重基準決定支援に適用する。
論文 参考訳（メタデータ） (2025-03-19T12:16:54Z) - EquivaMap: Leveraging LLMs for Automatic Equivalence Checking of Optimization Formulations [12.962019992859531]
2つの最適化定式化が等価であるかどうかを決定するための公式な基準である準カルプ同値を導入する。
本研究では,大規模な言語モデルを利用して,そのようなマッピングを自動的に検出するフレームワークであるEquivaMapを提案する。
論文 参考訳（メタデータ） (2025-02-20T17:35:32Z) - Prompt-Matcher: Leveraging Large Models to Reduce Uncertainty in Schema Matching Results [1.13107643869251]
本稿では,大規模言語モデルの特定のプロンプトを用いた細粒度対応検証に基づく新しい手法を提案する。
本手法は,(1)対応選択アルゴリズム,(2)対応検証,(3)確率分布の更新の3つの主成分からなる反復ループである。
本稿では,計算効率においてブルートアルゴリズムを著しく上回る新しい$(1-1/e)$-approximationアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-08-24T16:54:08Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Duet: efficient and scalable hybriD neUral rElation undersTanding [9.231883521214241]
デュエットは、サンプリングや微分不可能なプロセスなしで直接濃度を推定する安定で効率的でスケーラブルなハイブリッド手法である。
デュエットはCPU上での推論コストがGPUで学んだほとんどのメソッドよりも低い。
論文 参考訳（メタデータ） (2023-07-25T13:42:22Z) - Scardina: Scalable Join Cardinality Estimation by Multiple Density
Estimators [8.641606056228675]
機械学習に基づく濃度推定手法が従来の手法に取って代わっている。
スキーマ構造に基づく分割モデルを用いた新しい結合濃度推定法であるScardinaを提案する。
論文 参考訳（メタデータ） (2023-03-31T13:22:28Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳（メタデータ） (2021-05-11T03:38:16Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳（メタデータ） (2020-07-11T19:44:09Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-15T10:08:39Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z) - GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。
我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。
結果として得られるアルゴリズム、GenDICEは単純で効果的である。
論文 参考訳（メタデータ） (2020-02-21T00:27:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。