論文の概要: Confidence Calibration for Intent Detection via Hyperspherical Space and Rebalanced Accuracy-Uncertainty Loss

• arxiv url: http://arxiv.org/abs/2203.09278v1
• Date: Thu, 17 Mar 2022 12:01:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 14:47:20.833627
• Title: Confidence Calibration for Intent Detection via Hyperspherical Space and Rebalanced Accuracy-Uncertainty Loss
• Title（参考訳）: 超球面空間によるインテリジェンス検出の信頼性校正と不確実性損失の再バランス
• Authors: Yantao Gong, Cao Liu, Fan Yang, Xunliang Cai, Guanglu Wan, Jiansong Chen, Weipeng Zhang, Houfeng Wang
• Abstract要約: 一部のシナリオでは、ユーザは正確さだけでなく、モデルの信頼性も気にします。 本稿では,超球面空間と精度・不確かさ損失の再バランスを用いたモデルを提案する。 本モデルでは,既存の校正手法より優れ,校正基準の大幅な改善を実現している。
• 参考スコア（独自算出の注目度）: 17.26964140836123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-driven methods have achieved notable performance on intent detection, which is a task to comprehend user queries. Nonetheless, they are controversial for over-confident predictions. In some scenarios, users do not only care about the accuracy but also the confidence of model. Unfortunately, mainstream neural networks are poorly calibrated, with a large gap between accuracy and confidence. To handle this problem defined as confidence calibration, we propose a model using the hyperspherical space and rebalanced accuracy-uncertainty loss. Specifically, we project the label vector onto hyperspherical space uniformly to generate a dense label representation matrix, which mitigates over-confident predictions due to overfitting sparce one-hot label matrix. Besides, we rebalance samples of different accuracy and uncertainty to better guide model training. Experiments on the open datasets verify that our model outperforms the existing calibration methods and achieves a significant improvement on the calibration metric.
• Abstract（参考訳）: データ駆動型メソッドは、ユーザクエリを理解するタスクであるインテント検出で注目すべきパフォーマンスを達成している。 それでも、自信過剰な予測については議論の余地がある。 一部のシナリオでは、ユーザーは精度だけでなくモデルの信頼性も気にしている。 残念ながら、主流のニューラルネットワークは、精度と信頼性の間に大きなギャップがあり、キャリブレーションが不十分である。 信頼性キャリブレーションとして定義されるこの問題に対処するため,超球面空間と精度・不確かさ損失の再バランスモデルを提案する。 具体的には,超球面空間にラベルベクトルを一様に投影して高密度なラベル表現行列を生成する。 さらに、モデルのトレーニングをガイドするために、異なる精度と不確実性のサンプルを再バランスさせます。 オープンデータセットを用いた実験により,本モデルが既存のキャリブレーション手法を上回っており,キャリブレーション指標の大幅な改善が得られた。

関連論文リスト

• Improving Predictor Reliability with Selective Recalibration [15.319277333431318]
  リカレーションは、事前訓練されたモデルで信頼性の高い信頼度を推定する最も効果的な方法の1つである。 そこで我々は,選択モデルがユーザの選択比率を下げることを学ぶテキスト選択的リカレーションを提案する。 以上の結果から,選択的再校正は幅広い選択基準と再校正基準よりも,キャリブレーション誤差が著しく低いことが示唆された。
  論文  参考訳（メタデータ） (2024-10-07T18:17:31Z)
• Towards Calibrated Deep Clustering Network [60.71776081164377]
  ディープクラスタリングでは、特定のクラスタに属するサンプルに対する推定信頼度はその実際の予測精度を大きく上回る。 推定された信頼度と実際の精度を効果的にキャリブレーションできる新しいデュアルヘッド(キャリブレーションヘッドとクラスタリングヘッド)深層クラスタリングモデルを提案する。 大規模実験により, 提案手法は, 最先端の深層クラスタリング手法を10倍に越えるだけでなく, クラスタリング精度も大幅に向上した。
  論文  参考訳（メタデータ） (2024-03-04T11:23:40Z)
• Two Sides of Miscalibration: Identifying Over and Under-Confidence Prediction for Network Calibration [1.192436948211501]
  安全クリティカルなタスクにおける信頼性予測には、ディープニューラルネットワークの信頼性校正が不可欠である。 ミススキャリブレーションは、過信と/または過信をモデル化する。 校正点とクラス別校正点を同定するために,新しい校正点である校正点を導入する。 クラスワイドの誤校正スコアをプロキシとして使用して,過度かつ過度に対処可能な校正手法を設計する。
  論文  参考訳（メタデータ） (2023-08-06T17:59:14Z)
• Proximity-Informed Calibration for Deep Neural Networks [49.330703634912915]
  ProCalは、近接性に基づいてサンプル信頼度を調整する理論的保証を持つプラグアンドプレイアルゴリズムである。 ProCalは、近接バイアスに対処し、バランスの取れた、長い、分布シフトの設定の校正を改善するのに有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-07T16:40:51Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Revisiting Calibration for Question Answering [16.54743762235555]
  従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。 モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
  論文  参考訳（メタデータ） (2022-05-25T05:49:56Z)
• Bayesian Confidence Calibration for Epistemic Uncertainty Modelling [4.358626952482686]
  キャリブレーション法の不確実性を考慮した信頼度推定手法を提案する。 物体検出校正のための最先端校正性能を実現する。
  論文  参考訳（メタデータ） (2021-09-21T10:53:16Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Improving model calibration with accuracy versus uncertainty optimization [17.056768055368384]
  適切に校正されたモデルは、その予測が確実であるときに正確であり、不正確な場合に高い不確実性を示すべきである。 精度と不確実性の関係を不確実性校正のアンカーとして活用する最適化手法を提案する。 平均場変動推定によるアプローチの実証と最先端手法との比較を行った。
  論文  参考訳（メタデータ） (2020-12-14T20:19:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。