論文の概要: Are Data Augmentation Methods in Named Entity Recognition Applicable for Uncertainty Estimation?

• arxiv url: http://arxiv.org/abs/2407.02062v1
• Date: Tue, 2 Jul 2024 08:49:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 16:04:54.567384
• Title: Are Data Augmentation Methods in Named Entity Recognition Applicable for Uncertainty Estimation?
• Title（参考訳）: 名前付きエンティティ認識におけるデータ拡張法は不確実性推定に有効か?
• Authors: Wataru Hashimoto, Hidetaka Kamigaito, Taro Watanabe,
• Abstract要約: 名前付きエンティティ認識(NER)タスクにおけるデータの増大が信頼度校正と不確実性評価に与える影響について検討する。 また,データ拡張により,言語間および言語間におけるキャリブレーションや不確実性が向上することを示す。 また,増量によりキャリブレーションや不確実性がさらに向上することが示唆された。
• 参考スコア（独自算出の注目度）: 26.336947440529713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work investigates the impact of data augmentation on confidence calibration and uncertainty estimation in Named Entity Recognition (NER) tasks. For the future advance of NER in safety-critical fields like healthcare and finance, it is essential to achieve accurate predictions with calibrated confidence when applying Deep Neural Networks (DNNs), including Pre-trained Language Models (PLMs), as a real-world application. However, DNNs are prone to miscalibration, which limits their applicability. Moreover, existing methods for calibration and uncertainty estimation are computational expensive. Our investigation in NER found that data augmentation improves calibration and uncertainty in cross-genre and cross-lingual setting, especially in-domain setting. Furthermore, we showed that the calibration for NER tends to be more effective when the perplexity of the sentences generated by data augmentation is lower, and that increasing the size of the augmentation further improves calibration and uncertainty.
• Abstract（参考訳）: 本研究では,NERタスクにおけるデータ拡張が信頼度校正および不確実性評価に与える影響について検討する。 医療や金融といった安全クリティカルな分野におけるNERの将来的な進歩のためには、実世界のアプリケーションとして、事前学習言語モデル(PLM)を含むディープニューラルネットワーク(DNN)を適用する際に、正確な信頼度で正確な予測を達成することが不可欠である。 しかし、DNNは誤校正の傾向があり、適用性が制限される。 さらに、キャリブレーションと不確実性推定のための既存の手法は計算コストが高い。 NERで行った調査では、特にドメイン内設定において、データの増大により、言語間および言語間設定におけるキャリブレーションと不確実性が向上することがわかった。 さらに,データ拡張による文の難易度が低い場合には,NERの校正がより効果的である傾向にあり,さらに,データ増大による文のキャリブレーションの増大により校正と不確実性がさらに向上することを示した。

関連論文リスト

• Uncertainty Calibration with Energy Based Instance-wise Scaling in the Wild Dataset [23.155946032377052]
  エネルギーモデルに基づく新しいインスタンスワイドキャリブレーション手法を提案する。 本手法は,ソフトマックス信頼性スコアの代わりにエネルギースコアを組み込むことにより,不確実性を考慮した適応的な検討を可能にする。 実験では,提案手法はスペクトル間のロバストな性能を一貫して維持することを示した。
  論文  参考訳（メタデータ） (2024-07-17T06:14:55Z)
• Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
  攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。 我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
  論文  参考訳（メタデータ） (2024-05-22T18:52:09Z)
• Error-Driven Uncertainty Aware Training [7.702016079410588]
  Error-Driven Uncertainty Aware Trainingは、ニューラル分類器が不確実性を正確に推定する能力を高めることを目的としている。 EUATアプローチは、モデルのトレーニングフェーズ中に、トレーニング例が正しく予測されているか、あるいは正しく予測されているかによって、2つの損失関数を選択的に使用することによって機能する。 画像認識領域における多様なニューラルモデルとデータセットを用いてEUATを評価する。
  論文  参考訳（メタデータ） (2024-05-02T11:48:14Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Lightweight, Uncertainty-Aware Conformalized Visual Odometry [2.429910016019183]
  データ駆動型ビジュアルオドメトリー(VO)は、自律エッジロボティクスにとって重要なサブルーチンである。 昆虫スケールドローンや外科ロボットのような最先端ロボットデバイスは、VOの予測の不確実性を推定する計算的に効率的な枠組みを欠いている。 本稿では,共形推論(CI)を利用してVOの不確実な帯域を抽出する,新しい,軽量で統計的に堅牢なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-03T20:37:55Z)
• Towards Reliable Medical Image Segmentation by utilizing Evidential Calibrated Uncertainty [52.03490691733464]
  本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。 主観的論理理論を利用して、医用画像分割の問題に対する確率と不確実性を明示的にモデル化する。 DeviSには不確実性を考慮したフィルタリングモジュールが組み込まれている。
  論文  参考訳（メタデータ） (2023-01-01T05:02:46Z)
• Evaluating Uncertainty Calibration for Open-Set Recognition [5.8022510096020525]
  ディープニューラルネットワーク(DNN)は、アウト・オブ・ディストリビューション(OOD)データに過信的な確率を提供する。 我々は,OODデータに対する従来のキャリブレーション手法とは大きく異なる方法で,オープンセット条件に対する一般的なキャリブレーション手法を評価する。
  論文  参考訳（メタデータ） (2022-05-15T02:08:35Z)
• Bayesian autoencoders with uncertainty quantification: Towards trustworthy anomaly detection [78.24964622317634]
  本研究では, ベイズオートエンコーダ (BAEs) の定式化により, 全体の異常不確かさを定量化する。 不確実性の質を評価するために,不確実性の予測を拒否するオプションを追加して,異常を分類する作業を検討する。 本実験は,BAEと総異常不確かさが,ベンチマークデータセットと製造用実データセットのセットに与える影響を実証するものである。
  論文  参考訳（メタデータ） (2022-02-25T12:20:04Z)
• Gradient-Based Quantification of Epistemic Uncertainty for Deep Object Detectors [8.029049649310213]
  本稿では,新しい勾配に基づく不確実性指標を導入し,異なる物体検出アーキテクチャについて検討する。 実験では、真の肯定的/偽の正の判別と、結合上の交叉の予測において顕著な改善が示された。 また,モンテカルロのドロップアウト不確実性指標に対する改善や,さまざまな不確実性指標のソースを集約することで,さらなる大幅な向上が期待できる。
  論文  参考訳（メタデータ） (2021-07-09T16:04:11Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions [121.10450359856242]
  リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。 a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
  論文  参考訳（メタデータ） (2020-06-20T22:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。