論文の概要: Beyond Quantile Methods: Improved Top-K Threshold Estimation for Traditional and Learned Sparse Indexes

• arxiv url: http://arxiv.org/abs/2412.10701v1
• Date: Sat, 14 Dec 2024 06:18:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:53:58.466510
• Title: Beyond Quantile Methods: Improved Top-K Threshold Estimation for Traditional and Learned Sparse Indexes
• Title（参考訳）: 量子的手法を超えて:伝統的および学習されたスパース指標のTop-K閾値推定の改善
• Authors: Jinrui Gou, Yifan Liu, Minghao Shao, Torsten Suel,
• Abstract要約: 本稿では,最近提案されたスパース指数構造におけるしきい値推定問題について検討する。 われわれの最良の手法は、時間と空間のさらなるコストで、最先端技術と1.0の理想的MUFとのギャップを著しく狭めている。
• 参考スコア（独自算出の注目度）: 9.732526491630821
• License:
• Abstract: Top-k threshold estimation is the problem of estimating the score of the k-th highest ranking result of a search query. A good estimate can be used to speed up many common top-k query processing algorithms, and thus a number of researchers have recently studied the problem. Among the various approaches that have been proposed, quantile methods appear to give the best estimates overall at modest computational costs, followed by sampling-based methods in certain cases. In this paper, we make two main contributions. First, we study how to get even better estimates than the state of the art. Starting from quantile-based methods, we propose a series of enhancements that give improved estimates in terms of the commonly used mean under-prediction fraction (MUF). Second, we study the threshold estimation problem on recently proposed learned sparse index structures, showing that our methods also work well for these cases. Our best methods substantially narrow the gap between the state of the art and the ideal MUF of 1.0, at some additional cost in time and space.
• Abstract（参考訳）: トップk閾値推定は、検索クエリのk位ランキングのスコアを推定する問題である。 多くの一般的なトップkクエリ処理アルゴリズムを高速化するために,優れた推定値が利用できる。 提案されている様々な手法の中で、量子化法は、一定の計算コストで全体として最高の推定値を与えるようにみえる。 本稿では2つの主な貢献を行う。 まず、最先端技術よりも優れた見積もりを得る方法について研究する。 量子化に基づく手法から、一般的に使用される平均下降率(MUF)の観点から、予測を改良する一連の拡張を提案する。 第2に,最近提案されたスパース指数構造における閾値推定問題について検討し,本手法が有効であることを示す。 我々のベストメソッドは、最先端のMUFと1.0の理想のMUFのギャップを、時間と空間においてある程度のコストで大幅に狭めます。

関連論文リスト

• SGD with Clipping is Secretly Estimating the Median Gradient [19.69067856415625]
  劣化ノードを用いた分散学習,トレーニングデータに大きな外れ値が存在すること,プライバシ制約下での学習,あるいはアルゴリズム自体のダイナミクスによるヘビーテールノイズなどについて検討する。 まず,サンプル間の中央勾配を計算し,重み付き状態依存雑音下でも収束できることを示す。 本稿では,反復の中央値勾配を推定するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-20T08:54:07Z)
• Regularization-Based Methods for Ordinal Quantification [49.606912965922504]
  順序の場合、すなわち n>2 クラスの集合上で全順序が定義される場合について研究する。 本稿では,従来のアルゴリズムよりも優れた正規化OQアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-13T16:04:06Z)
• A novel framework for Shot number minimization in Quantum Variational Algorithms [0.0]
  変分量子アルゴリズム(VQA)は、様々な量子コンピューティングアプリケーションに対する潜在的な解決策として注目されている。 量子デバイスにこれらのアルゴリズムを実装するには、かなりの数の測定を必要とすることが多い。 本稿では,VQAにおけるショット評価の削減を目的とした最適化アルゴリズムの一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-08T19:14:01Z)
• Estimation Beyond Data Reweighting: Kernel Method of Moments [9.845144212844662]
  モーメントのカーネル法(KMM)と呼ばれる最大平均誤差に基づく経験的確率推定器を提供する。 条件付きモーメント制限タスクにおいて,本手法が競合性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-05-18T11:52:43Z)
• FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding [89.92513889132825]
  本稿では,従来の評価手順を,テスト性能,開発-テスト相関,安定性の3つの重要な側面で改善する評価フレームワークを提案する。 評価フレームワークを実装したツールキットFewNLUと、最先端のメソッドをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2021-09-27T00:57:30Z)
• Estimating leverage scores via rank revealing methods and randomization [50.591267188664666]
  任意のランクの正方形密度あるいはスパース行列の統計レバレッジスコアを推定するアルゴリズムについて検討した。 提案手法は,高密度およびスパースなランダム化次元性還元変換の合成と階調明細化法を組み合わせることに基づく。
  論文  参考訳（メタデータ） (2021-05-23T19:21:55Z)
• SIMPLE: SIngle-network with Mimicking and Point Learning for Bottom-up Human Pose Estimation [81.03485688525133]
  Single-network with Mimicking and Point Learning for Bottom-up Human Pose Estimation (SIMPLE) を提案する。 具体的には、トレーニングプロセスにおいて、SIMPLEが高性能なトップダウンパイプラインからのポーズ知識を模倣できるようにする。 さらに、SIMPLEは人間検出とポーズ推定を統一的なポイントラーニングフレームワークとして定式化し、単一ネットワークで相互に補完する。
  論文  参考訳（メタデータ） (2021-04-06T13:12:51Z)
• A Comparative Evaluation of Quantification Methods [3.1499058381005227]
  量子化は、データセット内のクラス分布を予測する問題を表す。 近年,様々なアルゴリズムが提案されている。 40以上のデータセットで24の異なるメソッドを比較します。
  論文  参考訳（メタデータ） (2021-03-04T18:51:06Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• The estimation error of general first order methods [12.472245917779754]
  我々は,高次元回帰と低次元行列推定という2種類の推定問題を考察する。 我々は、観測数とパラメータ数の両方が分岐する高次元最適値の誤差を下界に導出する。 これらの下界は、推定誤差が下界とわずかに無視可能な項に一致するアルゴリズムが存在することを意味している。
  論文  参考訳（メタデータ） (2020-02-28T18:13:47Z)
• A General Method for Robust Learning from Batches [56.59844655107251]
  本稿では,バッチから頑健な学習を行う一般的なフレームワークについて考察し,連続ドメインを含む任意の領域に対する分類と分布推定の限界について考察する。 本手法は,一括分節分類,一括分節,単調,対数凹,ガウス混合分布推定のための,最初の頑健な計算効率の学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2020-02-25T18:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。