論文の概要: On the Calibration and Uncertainty of Neural Learning to Rank Models
- arxiv url: http://arxiv.org/abs/2101.04356v1
- Date: Tue, 12 Jan 2021 09:05:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-04 09:55:48.438225
- Title: On the Calibration and Uncertainty of Neural Learning to Rank Models
- Title（参考訳）: ランクモデルに対するニューラルラーニングの校正と不確かさについて
- Authors: Gustavo Penha and Claudia Hauff
- Abstract要約: Probability Ranking Principle (PRP) によれば、関連性確率の順に文書をランク付けすると、アドホック検索に最適な文書ランキングが得られる。
しかし、ディープニューラルネットワーク(DNN)がよく校正されておらず、不確実性の原因がいくつかあることは分かっています。
- 参考スコア（独自算出の注目度）: 15.05158252504978
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: According to the Probability Ranking Principle (PRP), ranking documents in
decreasing order of their probability of relevance leads to an optimal document
ranking for ad-hoc retrieval. The PRP holds when two conditions are met: [C1]
the models are well calibrated, and, [C2] the probabilities of relevance are
reported with certainty. We know however that deep neural networks (DNNs) are
often not well calibrated and have several sources of uncertainty, and thus
[C1] and [C2] might not be satisfied by neural rankers. Given the success of
neural Learning to Rank (L2R) approaches-and here, especially BERT-based
approaches-we first analyze under which circumstances deterministic, i.e.
outputs point estimates, neural rankers are calibrated. Then, motivated by our
findings we use two techniques to model the uncertainty of neural rankers
leading to the proposed stochastic rankers, which output a predictive
distribution of relevance as opposed to point estimates. Our experimental
results on the ad-hoc retrieval task of conversation response ranking reveal
that (i) BERT-based rankers are not robustly calibrated and that stochastic
BERT-based rankers yield better calibration; and (ii) uncertainty estimation is
beneficial for both risk-aware neural ranking, i.e.taking into account the
uncertainty when ranking documents, and for predicting unanswerable
conversational contexts.
- Abstract（参考訳）: Probability Ranking Principle (PRP) によれば、関連性確率の順に文書をランク付けすると、アドホック検索に最適な文書ランキングが得られる。
PRPは、2つの条件が満たされたときに成り立つ: [C1] モデルが十分に校正され、[C2] 関連性の確率が確実に報告される。
しかし、ディープニューラルネットワーク(DNN)はよく校正されておらず、不確実性の原因がいくつかあるため、[C1]と[C2]はニューラルランサーによって満たされない可能性がある。
ニューラルラーニング・トゥ・ランク(L2R)のアプローチの成功を考えると、特にBERTベースのアプローチは、まずどの状況を決定論的に分析する。
出力ポイント推定 神経ローダは校正される
そこで,本研究では,2つの手法を用いて,提案した確率的ランク付けに導かれるニューラルランク付けの不確かさをモデル化し,点推定とは対照的に関連性の予測分布を出力する。
会話応答ランク付けのアドホック検索タスクにおける実験結果から, (i) bertベースのランク付けはロバストに調整されないこと, 確率的bertベースのランク付けがより良いキャリブレーションをもたらすこと, (ii) 不確実性推定は, リスク認識型ニューラルネットワークのランキング, すなわち, ランク付け時の不確実性を考慮し, 不可解な会話コンテキストの予測に有効であることが明らかとなった。
関連論文リスト
- Towards Calibrated Deep Clustering Network [60.71776081164377]
ディープクラスタリングでは、特定のクラスタに属するサンプルに対する推定信頼度はその実際の予測精度を大きく上回る。
推定された信頼度と実際の精度を効果的にキャリブレーションできる新しいデュアルヘッド(キャリブレーションヘッドとクラスタリングヘッド)深層クラスタリングモデルを提案する。
大規模実験により, 提案手法は, 最先端の深層クラスタリング手法を10倍に越えるだけでなく, クラスタリング精度も大幅に向上した。
論文 参考訳（メタデータ） (2024-03-04T11:23:40Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳（メタデータ） (2023-10-20T10:20:45Z) - On double-descent in uncertainty quantification in overparametrized
models [24.073221004661427]
不確かさの定量化は、信頼性と信頼性のある機械学習における中心的な課題である。
最適正規化推定器のキャリブレーション曲線において, 分類精度とキャリブレーションのトレードオフを示す。
これは経験的ベイズ法とは対照的であり、高次一般化誤差と過度パラメトリゼーションにもかかわらず、我々の設定では十分に校正されていることを示す。
論文 参考訳（メタデータ） (2022-10-23T16:01:08Z) - DBCal: Density Based Calibration of classifier predictions for
uncertainty quantification [0.0]
本稿では,機械学習手法を用いて予測の不確かさを定量化する手法を提案する。
提案手法は,2つのニューラルネットワークの出力が正しい確率を正確に推定する。
論文 参考訳（メタデータ） (2022-04-01T01:03:41Z) - Identifying Incorrect Classifications with Balanced Uncertainty [21.130311978327196]
不確実性推定は、コストに敏感なディープラーニングアプリケーションには不可欠である。
本研究では,不確実性推定における不均衡を2種類の分布バイアスとしてモデル化するための分布不均衡を提案する。
そこで我々は,新たな分布的焦点損失目標を持つ不確実性推定器を学習する,バランスト・トゥルー・クラス確率フレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-15T11:52:31Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Revisiting One-vs-All Classifiers for Predictive Uncertainty and
Out-of-Distribution Detection in Neural Networks [22.34227625637843]
識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。
画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
論文 参考訳（メタデータ） (2020-07-10T01:55:02Z) - Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via
Higher-Order Influence Functions [121.10450359856242]
我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。
1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
論文 参考訳（メタデータ） (2020-06-29T13:36:52Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Provable tradeoffs in adversarially robust classification [96.48180210364893]
我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。
この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
論文 参考訳（メタデータ） (2020-06-09T09:58:19Z) - Deep Bayesian Gaussian Processes for Uncertainty Estimation in
Electronic Health Records [30.65770563934045]
我々はディープ・ベイズ学習フレームワークの特徴とディープ・カーネル・ラーニングを融合させ、より包括的な不確実性推定に両手法の強みを活用する。
我々は,不均衡なデータセットにおけるマイノリティクラスにおいて,過度に信頼された予測を行うことに対して,我々の手法はより感受性が低いことを示す。
論文 参考訳（メタデータ） (2020-03-23T10:36:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。