論文の概要: Certified Error Control of Candidate Set Pruning for Two-Stage Relevance
Ranking
- arxiv url: http://arxiv.org/abs/2205.09638v1
- Date: Thu, 19 May 2022 16:00:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-20 19:36:30.970616
- Title: Certified Error Control of Candidate Set Pruning for Two-Stage Relevance
Ranking
- Title(参考訳): 二段階関係ランキングにおける候補セットプルーニングの認定誤差制御
- Authors: Minghan Li, Xinyu Zhang, Ji Xin, Hongyang Zhang, Jimmy Lin
- Abstract要約: 本稿では、妥当性ランキングのための候補セットプルーニングの認証エラー制御の概念を提案する。
提案手法は,第1段階から抽出した候補集合を抽出し,第2段階の復位速度を向上する。
- 参考スコア(独自算出の注目度): 57.42241521034744
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In information retrieval (IR), candidate set pruning has been commonly used
to speed up two-stage relevance ranking. However, such an approach lacks
accurate error control and often trades accuracy off against computational
efficiency in an empirical fashion, lacking theoretical guarantees. In this
paper, we propose the concept of certified error control of candidate set
pruning for relevance ranking, which means that the test error after pruning is
guaranteed to be controlled under a user-specified threshold with high
probability. Both in-domain and out-of-domain experiments show that our method
successfully prunes the first-stage retrieved candidate sets to improve the
second-stage reranking speed while satisfying the pre-specified accuracy
constraints in both settings. For example, on MS MARCO Passage v1, our method
yields an average candidate set size of 27 out of 1,000 which increases the
reranking speed by about 37 times, while the MRR@10 is greater than a
pre-specified value of 0.38 with about 90% empirical coverage and the empirical
baselines fail to provide such guarantee. Code and data are available at:
https://github.com/alexlimh/CEC-Ranking.
- Abstract(参考訳): 情報検索(IR)において、候補セットプルーニングは2段階関係ランキングの高速化に一般的に用いられている。
しかし、そのようなアプローチは正確な誤差制御を欠き、理論的な保証を欠く経験的な方法で計算効率と精度を交換することが多い。
本稿では,関連度ランキングのための候補セットプルーニングの認証エラー制御の概念を提案する。つまり,プルーニング後のテストエラーを,ユーザ指定閾値の下で高い確率で制御することが保証される。
in-domain と out-of-domain の両実験により,本手法は第1段階の検索候補集合の探索に成功し,2段階のリランキング速度を向上し,両方の設定で予め定められた精度制約を満たした。
例えば、ms marco passage v1では、平均候補設定サイズが1000から27に設定され、リランキング速度が約37倍に向上する一方、mr@10は約90%の経験的カバレッジを持つ0.38よりも大きく、経験的ベースラインはそのような保証を提供しない。
コードとデータは、https://github.com/alexlimh/CEC-Ranking.comで入手できる。
関連論文リスト
- Optimizing Metamorphic Testing: Prioritizing Relations Through Execution Profile Dissimilarity [2.6749261270690434]
オラクルは、実行されたテストケースのプログラムの出力が正しいかどうかを判定する。
機械学習プログラムでは、そのようなオラクルはしばしば利用できないか、適用できない。
MRの優先順位付けは、障害検出の有効性を高め、テスト効率を向上させる。
論文 参考訳(メタデータ) (2024-11-14T04:14:30Z) - A Self-boosted Framework for Calibrated Ranking [7.4291851609176645]
キャリブレーションランキング(Calibrated Ranking)は、正確なランキング品質とキャリブレーションされた確率予測を同時に追求するスケールキャリブレーションランキングシステムである。
それまでの方法は、ランキングの損失を計算するために、単一のミニバッチ内に完全な候補リストを集約する必要があった。
校正ランク付けのための自己ブーストフレームワーク(SBCR)を提案する。
論文 参考訳(メタデータ) (2024-06-12T09:00:49Z) - Early Time Classification with Accumulated Accuracy Gap Control [34.77841988415891]
早期分類アルゴリズムは、完全な入力ストリームを処理することなく、機能のストリームをラベル付けすることを目的としている。
我々は,任意の逐次分類器に適用可能な統計フレームワークを導入し,校正停止規則を定式化する。
提案した早期停止機構は,厳密な精度のギャップ制御を達成しつつ,分類に使用される時間ステップの最大94%を削減できることを示す。
論文 参考訳(メタデータ) (2024-02-01T18:54:34Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-08T07:05:36Z) - (Almost) Provable Error Bounds Under Distribution Shift via Disagreement
Discrepancy [8.010528849585937]
我々は、ラベルのないテストデータを用いて、分散シフト中のディープニューラルネットワークのエラーに対して(ほぼ)保証された上限を導出する。
特に、我々の境界は単純で直感的な条件を必要とし、これは以前の経験的な研究によって十分に正当化される。
この損失は、マルチクラス不一致の最大化を必要とする将来のメソッドのドロップイン代替になることを期待しています。
論文 参考訳(メタデータ) (2023-06-01T03:22:15Z) - Accurate and Reliable Methods for 5G UAV Jamming Identification With
Calibrated Uncertainty [3.4208659698673127]
不確実性を考慮せずに精度を上げるだけで、Deep Neural Network(DNN)の意思決定に悪影響を及ぼす可能性がある。
本稿では,時系列二項分類問題に対する前処理と後処理の5つの組み合わせを提案する。
論文 参考訳(メタデータ) (2022-11-05T15:04:45Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - Input-Specific Robustness Certification for Randomized Smoothing [76.76115360719837]
本稿では,ロバストネス認証の費用対効果を達成するために,インプット・スペクティブ・サンプリング(ISS)の高速化を提案する。
ISSは、認定半径0.05の限られたコストで3回以上、認定をスピードアップすることができる。
論文 参考訳(メタデータ) (2021-12-21T12:16:03Z) - Distribution-free uncertainty quantification for classification under
label shift [105.27463615756733]
2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。
まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。
これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
論文 参考訳(メタデータ) (2021-03-04T20:51:03Z) - Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。
また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
論文 参考訳(メタデータ) (2020-08-21T18:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。