論文の概要: Confidence Calibration for Intent Detection via Hyperspherical Space and
Rebalanced Accuracy-Uncertainty Loss
- arxiv url: http://arxiv.org/abs/2203.09278v1
- Date: Thu, 17 Mar 2022 12:01:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-18 14:47:20.833627
- Title: Confidence Calibration for Intent Detection via Hyperspherical Space and
Rebalanced Accuracy-Uncertainty Loss
- Title(参考訳): 超球面空間によるインテリジェンス検出の信頼性校正と不確実性損失の再バランス
- Authors: Yantao Gong, Cao Liu, Fan Yang, Xunliang Cai, Guanglu Wan, Jiansong
Chen, Weipeng Zhang, Houfeng Wang
- Abstract要約: 一部のシナリオでは、ユーザは正確さだけでなく、モデルの信頼性も気にします。
本稿では,超球面空間と精度・不確かさ損失の再バランスを用いたモデルを提案する。
本モデルでは,既存の校正手法より優れ,校正基準の大幅な改善を実現している。
- 参考スコア(独自算出の注目度): 17.26964140836123
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data-driven methods have achieved notable performance on intent detection,
which is a task to comprehend user queries. Nonetheless, they are controversial
for over-confident predictions. In some scenarios, users do not only care about
the accuracy but also the confidence of model. Unfortunately, mainstream neural
networks are poorly calibrated, with a large gap between accuracy and
confidence. To handle this problem defined as confidence calibration, we
propose a model using the hyperspherical space and rebalanced
accuracy-uncertainty loss. Specifically, we project the label vector onto
hyperspherical space uniformly to generate a dense label representation matrix,
which mitigates over-confident predictions due to overfitting sparce one-hot
label matrix. Besides, we rebalance samples of different accuracy and
uncertainty to better guide model training. Experiments on the open datasets
verify that our model outperforms the existing calibration methods and achieves
a significant improvement on the calibration metric.
- Abstract(参考訳): データ駆動型メソッドは、ユーザクエリを理解するタスクであるインテント検出で注目すべきパフォーマンスを達成している。
それでも、自信過剰な予測については議論の余地がある。
一部のシナリオでは、ユーザーは精度だけでなくモデルの信頼性も気にしている。
残念ながら、主流のニューラルネットワークは、精度と信頼性の間に大きなギャップがあり、キャリブレーションが不十分である。
信頼性キャリブレーションとして定義されるこの問題に対処するため,超球面空間と精度・不確かさ損失の再バランスモデルを提案する。
具体的には,超球面空間にラベルベクトルを一様に投影して高密度なラベル表現行列を生成する。
さらに、モデルのトレーニングをガイドするために、異なる精度と不確実性のサンプルを再バランスさせます。
オープンデータセットを用いた実験により,本モデルが既存のキャリブレーション手法を上回っており,キャリブレーション指標の大幅な改善が得られた。
関連論文リスト
- Towards Calibrated Deep Clustering Network [66.32979175252478]
推定された信頼度と実際の精度を効果的に調整できる新しいデュアルヘッドディープクラスタリングパイプラインを提案する。
提案するキャリブレーション・ディープ・クラスタリング・フレームワークは,キャリブレーションの予測誤差から,最先端のディープ・クラスタリング手法を約10倍超えた。
論文 参考訳(メタデータ) (2024-03-04T11:23:40Z) - Two Sides of Miscalibration: Identifying Over and Under-Confidence
Prediction for Network Calibration [1.192436948211501]
安全クリティカルなタスクにおける信頼性予測には、ディープニューラルネットワークの信頼性校正が不可欠である。
ミススキャリブレーションは、過信と/または過信をモデル化する。
校正点とクラス別校正点を同定するために,新しい校正点である校正点を導入する。
クラスワイドの誤校正スコアをプロキシとして使用して,過度かつ過度に対処可能な校正手法を設計する。
論文 参考訳(メタデータ) (2023-08-06T17:59:14Z) - Model Calibration in Dense Classification with Adaptive Label
Perturbation [44.62722402349157]
既存の密接な二分分類モデルは、過信される傾向がある。
本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。
ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
論文 参考訳(メタデータ) (2023-07-25T14:40:11Z) - Learning Sample Difficulty from Pre-trained Models for Reliable
Prediction [55.77136037458667]
本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。
我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
論文 参考訳(メタデータ) (2023-04-20T07:29:23Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳(メタデータ) (2023-03-25T08:56:21Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳(メタデータ) (2022-10-24T17:53:20Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - Revisiting Calibration for Question Answering [16.54743762235555]
従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。
モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
論文 参考訳(メタデータ) (2022-05-25T05:49:56Z) - Bayesian Confidence Calibration for Epistemic Uncertainty Modelling [4.358626952482686]
キャリブレーション法の不確実性を考慮した信頼度推定手法を提案する。
物体検出校正のための最先端校正性能を実現する。
論文 参考訳(メタデータ) (2021-09-21T10:53:16Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳(メタデータ) (2021-02-22T07:02:37Z) - Improving model calibration with accuracy versus uncertainty
optimization [17.056768055368384]
適切に校正されたモデルは、その予測が確実であるときに正確であり、不正確な場合に高い不確実性を示すべきである。
精度と不確実性の関係を不確実性校正のアンカーとして活用する最適化手法を提案する。
平均場変動推定によるアプローチの実証と最先端手法との比較を行った。
論文 参考訳(メタデータ) (2020-12-14T20:19:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。