論文の概要: Distribution Calibration for Out-of-Domain Detection with Bayesian Approximation

• arxiv url: http://arxiv.org/abs/2209.06612v1
• Date: Wed, 14 Sep 2022 13:04:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-15 13:13:51.704965
• Title: Distribution Calibration for Out-of-Domain Detection with Bayesian Approximation
• Title（参考訳）: ベイズ近似を用いた領域外検出のための分布校正
• Authors: Yanan Wu, Zhiyuan Zeng, Keqing He, Yutao Mou, Pei Wang, Weiran Xu
• Abstract要約: Out-of-Domain (OOD) はタスク指向のダイアログシステムにおいて重要なコンポーネントである。 従来のソフトマックスに基づく検出アルゴリズムは、OODサンプルに対して過信的であることが証明されている。 我々は,モンテカルロ・ドロップアウトを用いた分布不確実性校正のためのベイズOOD検出フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 35.34001858858684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Out-of-Domain (OOD) detection is a key component in a task-oriented dialog system, which aims to identify whether a query falls outside the predefined supported intent set. Previous softmax-based detection algorithms are proved to be overconfident for OOD samples. In this paper, we analyze overconfident OOD comes from distribution uncertainty due to the mismatch between the training and test distributions, which makes the model can't confidently make predictions thus probably causing abnormal softmax scores. We propose a Bayesian OOD detection framework to calibrate distribution uncertainty using Monte-Carlo Dropout. Our method is flexible and easily pluggable into existing softmax-based baselines and gains 33.33\% OOD F1 improvements with increasing only 0.41\% inference time compared to MSP. Further analyses show the effectiveness of Bayesian learning for OOD detection.
• Abstract（参考訳）: Out-of-Domain (OOD) 検出はタスク指向のダイアログシステムにおいて重要なコンポーネントである。 従来のソフトマックスに基づく検出アルゴリズムはOODサンプルに対して過信的であることが証明された。 本稿では,トレーニング分布とテスト分布のミスマッチによる分布不確実性から生じる過信なOODを分析し,そのモデルが不確実なソフトマックススコアを生じさせるような予測を確実にできないようにする。 モンテカルロドロップアウトを用いた分布の不確かさを校正するベイズ型ood検出フレームワークを提案する。 本手法は,既存のソフトマックスベースラインに柔軟かつ容易に接続可能であり,OOD F1の改善率は33.33 %であり,MSPと比較して0.41 %の推論時間しか増加しない。 さらに分析した結果,OOD検出におけるベイズ学習の有効性が示唆された。

関連論文リスト

• The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
  アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。 我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:02:04Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
  我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。 Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。 複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
  論文  参考訳（メタデータ） (2023-11-28T02:00:47Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Falsehoods that ML researchers believe about OOD detection [0.24801933141734633]
  我々は、密度に基づくOOD検出について機械学習研究者が信じているいくつかの虚偽を列挙する。 我々は、これらのメソッドを統合するためのフレームワーク、OODプロキシフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-23T16:21:54Z)
• Out-of-distribution Detection with Deep Nearest Neighbors [33.71627349163909]
  アウト・オブ・ディストリビューション(OOD)検出は、オープンな世界で機械学習モデルをデプロイするための重要なタスクである。 本稿では,OOD検出における非パラメトリック近接距離の有効性について検討する。 いくつかのベンチマークで最寄りのOOD検出の有効性を実証し,優れた性能を示す。
  論文  参考訳（メタデータ） (2022-04-13T16:45:21Z)
• Localization Uncertainty-Based Attention for Object Detection [8.154943252001848]
  ガウスモデルを用いて, 4方向位置決めの不確かさを予測できる, より効率的な不確実性認識型高密度検出器 (UADET) を提案する。 MS COCOベンチマークを用いた実験によると、UADETはベースラインFCOSを一貫して上回り、最高のモデルであるResNext-64x4d-101-DCNは、COCOテストデーブで48.3%の単一スケールAPを得る。
  論文  参考訳（メタデータ） (2021-08-25T04:32:39Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)
• Uncertainty-Based Out-of-Distribution Classification in Deep Reinforcement Learning [17.10036674236381]
  アウト・オブ・ディストリビューションデータの誤予測は、機械学習システムにおける安全性の危機的状況を引き起こす可能性がある。 我々は不確実性に基づくOOD分類のためのフレームワークUBOODを提案する。 UBOODはアンサンブルに基づく推定器と組み合わせることで,信頼性の高い分類結果が得られることを示す。
  論文  参考訳（メタデータ） (2019-12-31T09:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。