論文の概要: Uncertainty-Aware Reliable Text Classification

• arxiv url: http://arxiv.org/abs/2107.07114v1
• Date: Thu, 15 Jul 2021 04:39:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-17 01:44:32.451752
• Title: Uncertainty-Aware Reliable Text Classification
• Title（参考訳）: 不確かさを意識した信頼性テキスト分類
• Authors: Yibo Hu, Latifur Khan
• Abstract要約: ディープニューラルネットワークは、分類タスクの予測精度の成功に大きく貢献している。 ドメインシフトやアウト・オブ・ディストリビューション(out-of-distribution)の例が存在する現実の環境では、過度に信頼された予測を行う傾向があります。 補助外乱と擬似外乱サンプルを併用して, あるクラスの事前知識でモデルを訓練する, 安価なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 21.517852608625127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have significantly contributed to the success in predictive accuracy for classification tasks. However, they tend to make over-confident predictions in real-world settings, where domain shifting and out-of-distribution (OOD) examples exist. Most research on uncertainty estimation focuses on computer vision because it provides visual validation on uncertainty quality. However, few have been presented in the natural language process domain. Unlike Bayesian methods that indirectly infer uncertainty through weight uncertainties, current evidential uncertainty-based methods explicitly model the uncertainty of class probabilities through subjective opinions. They further consider inherent uncertainty in data with different root causes, vacuity (i.e., uncertainty due to a lack of evidence) and dissonance (i.e., uncertainty due to conflicting evidence). In our paper, we firstly apply evidential uncertainty in OOD detection for text classification tasks. We propose an inexpensive framework that adopts both auxiliary outliers and pseudo off-manifold samples to train the model with prior knowledge of a certain class, which has high vacuity for OOD samples. Extensive empirical experiments demonstrate that our model based on evidential uncertainty outperforms other counterparts for detecting OOD examples. Our approach can be easily deployed to traditional recurrent neural networks and fine-tuned pre-trained transformers.
• Abstract（参考訳）: ディープニューラルネットワークは、分類タスクの予測精度の成功に大きく貢献している。 しかし、ドメインシフトとアウト・オブ・ディストリビューション(OOD)の例が存在する現実の環境では、過信な予測を行う傾向がある。 不確実性推定のほとんどの研究は、不確実性の品質の視覚的検証を提供するため、コンピュータビジョンに焦点を当てている。 しかし、自然言語プロセス領域で提示されるものはほとんどない。 重みの不確実性を通じて間接的に不確実性を推測するベイズ法とは異なり、現在の明らかな不確実性に基づく方法は主観的な意見を通じてクラス確率の不確実性を明示的にモデル化する。 彼らはさらに、異なる根本原因、空白(証拠の欠如による不確実性)、不協和(証拠の矛盾による不確実性)を持つデータに固有の不確実性を考える。 本稿ではまず,テキスト分類作業におけるOOD検出に不確実性を適用した。 我々は,OODサンプルの空き度が高い,特定のクラスの事前知識でモデルをトレーニングするために,補助外乱と擬似外乱サンプルの両方を採用する安価なフレームワークを提案する。 広範な実験により,自明な不確実性に基づくモデルがood検出の他のモデルよりも優れていることが示された。 我々のアプローチは、従来のリカレントニューラルネットワークと微調整された事前学習トランスフォーマーに容易にデプロイできる。

関連論文リスト

• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Identifying Drivers of Predictive Aleatoric Uncertainty [2.5311562666866494]
  本稿では,予測的アレタリック不確実性を説明するための簡単なアプローチを提案する。 我々は、ガウス出力分布にニューラルネットワークを適用することにより、不確実性を予測分散として推定する。 我々は、実世界のデータセットを含むニュアンスなベンチマーク分析を用いて、この結果の定量化を行う。
  論文  参考訳（メタデータ） (2023-12-12T13:28:53Z)
• Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent Representations [28.875819909902244]
  不確実性推定は、訓練されたディープニューラルネットワークの信頼性を評価することを目的としている。 既存の不確実性推定アプローチは、低次元分布仮定に依存している。 本研究では,不確実性推定のためのデータ適応型高次元仮説テストを用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-25T12:22:18Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• What is Flagged in Uncertainty Quantification? Latent Density Models for Uncertainty Categorization [68.15353480798244]
  不確実性定量化(UQ)は、信頼できる機械学習モデルを作成する上で不可欠である。 近年、疑わしい事例にフラグを立てるUQ手法が急上昇している。 分類タスクにおけるUQ手法によってフラグ付けされた不確実な例を分類する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-07-11T19:47:00Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)
• Multidimensional Uncertainty-Aware Evidential Neural Networks [21.716045815385268]
  非可逆性(OOD)検出問題を解決するために、WGAN-ENN(WENN)と呼ばれる新しい不確実性認識NNを提案する。 我々は、Wasserstein Generative Adrial Network(WGAN)とENNを組み合わせて、あるクラスの事前知識でモデルを共同で訓練するハイブリッドアプローチを採用した。 WENNによる不確実性の推定は、OODサンプルと境界サンプルを有意に区別するのに役立つことを実証した。
  論文  参考訳（メタデータ） (2020-12-26T04:28:56Z)
• Know Your Limits: Uncertainty Estimation with ReLU Classifiers Fails at Reliable OOD Detection [0.0]
  本稿では, 実験結果について理論的に説明し, 合成データから考察する。 このような技術は、分類設定でOODサンプルを確実に識別できないことを証明します。
  論文  参考訳（メタデータ） (2020-12-09T21:35:55Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。