論文の概要: Exploring Predictive Uncertainty and Calibration in NLP: A Study on the
Impact of Method & Data Scarcity
- arxiv url: http://arxiv.org/abs/2210.15452v1
- Date: Thu, 20 Oct 2022 15:42:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-30 11:45:01.756745
- Title: Exploring Predictive Uncertainty and Calibration in NLP: A Study on the
Impact of Method & Data Scarcity
- Title(参考訳): nlpにおける予測不確実性と校正の検討:手法とデータ不足の影響に関する研究
- Authors: Dennis Ulmer, Jes Frellsen, Christian Hardmeier
- Abstract要約: 我々は、幅広いアプローチから推定値の質を評価し、利用可能なデータ量に依存する。
事前訓練されたモデルとアンサンブルに基づくアプローチは全体として最高の結果を得るが、不確実性推定の品質は驚くほど多くのデータに悩まされる。
- 参考スコア(独自算出の注目度): 7.3372471678239215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the problem of determining the predictive confidence (or,
conversely, uncertainty) of a neural classifier through the lens of
low-resource languages. By training models on sub-sampled datasets in three
different languages, we assess the quality of estimates from a wide array of
approaches and their dependence on the amount of available data. We find that
while approaches based on pre-trained models and ensembles achieve the best
results overall, the quality of uncertainty estimates can surprisingly suffer
with more data. We also perform a qualitative analysis of uncertainties on
sequences, discovering that a model's total uncertainty seems to be influenced
to a large degree by its data uncertainty, not model uncertainty. All model
implementations are open-sourced in a software package.
- Abstract(参考訳): 低リソース言語のレンズを通して、神経分類器の予測信頼度(または逆に不確実性)を決定する問題を調べる。
3つの異なる言語のサブサンプルデータセットのモデルをトレーニングすることにより、幅広いアプローチからの見積もりの品質と利用可能なデータ量への依存性を評価する。
事前訓練されたモデルとアンサンブルに基づくアプローチは全体として最高の結果を得るが、不確実性推定の品質は驚くほど多くのデータに悩まされる。
また、シーケンス上の不確実性に関する定性的な分析を行い、モデル全体の不確実性は、モデルの不確実性ではなく、データの不確実性によって大きく影響されることを発見した。
すべてのモデル実装は、ソフトウェアパッケージでオープンソースである。
関連論文リスト
- One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。
幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
論文 参考訳(メタデータ) (2023-12-16T14:59:11Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳(メタデータ) (2023-08-03T12:43:21Z) - On Uncertainty Calibration and Selective Generation in Probabilistic
Neural Summarization: A Benchmark Study [14.041071717005362]
要約のための最新のディープモデルは、優れたベンチマーク性能を得るが、誤校正された予測の不確実性を生成する傾向にある。
これは、低品質の予測に高い信頼性を割り当て、現実世界のアプリケーションにおける信頼性と信頼性を損なうことを意味する。
確率的深層学習法は誤校正問題の一般的な解法であるが, 複雑な自己回帰的要約タスクにおける相対的有効性はよく理解されていない。
論文 参考訳(メタデータ) (2023-04-17T23:06:28Z) - Toward Reliable Human Pose Forecasting with Uncertainty [62.83828620074307]
我々は、複数のモデル、データセット、標準化された評価指標を特徴とする、人間のポーズ予測のためのオープンソースのライブラリを開発した。
本研究では,不確かさの挙動に関する知識を注入するために,不確実性事前を用いてアレタリック不確かさをモデル化する手法を提案する。
実験では,精度が最大で25%向上し,不確実性推定の性能が向上した。
論文 参考訳(メタデータ) (2023-04-13T17:56:08Z) - ALUM: Adversarial Data Uncertainty Modeling from Latent Model
Uncertainty Compensation [25.67258563807856]
本稿では,モデル不確実性とデータ不確実性を扱うALUMという新しい手法を提案する。
提案するALUMはモデルに依存しないため,オーバーヘッドの少ない既存のディープモデルに容易に実装できる。
論文 参考訳(メタデータ) (2023-03-29T17:24:12Z) - Reliable Multimodal Trajectory Prediction via Error Aligned Uncertainty
Optimization [11.456242421204298]
よく校正されたモデルでは、不確実性推定はモデル誤差と完全に相関する。
本稿では,モデル誤差に整合した品質不確実性推定を導出するための,新しい誤差整合不確実性最適化手法を提案する。
本研究では, 平均変位誤差を1.69%, 4.69%, モデル誤差との不確実性相関を17.22%, 19.13%, ピアソン相関係数で定量化することにより, 平均変位誤差を1.69%, 4.69%改善することを示した。
論文 参考訳(メタデータ) (2022-12-09T12:33:26Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳(メタデータ) (2022-10-24T17:53:20Z) - Modeling Disagreement in Automatic Data Labelling for Semi-Supervised
Learning in Clinical Natural Language Processing [2.016042047576802]
放射線学報告における観測検出問題に応用した最先端の予測モデルからの不確実性推定の品質について検討する。
論文 参考訳(メタデータ) (2022-05-29T20:20:49Z) - Dense Uncertainty Estimation via an Ensemble-based Conditional Latent
Variable Model [68.34559610536614]
我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。
そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。
以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
論文 参考訳(メタデータ) (2021-11-22T08:54:10Z) - Estimating Predictive Uncertainty Under Program Data Distribution Shift [3.603932017607092]
明確に定義された不確実性は、モデルの出力が信頼されるべきである(または信用すべきでない)かどうかを示す。
既存の不確実性アプローチでは、異なるデータ分布からのサンプルのテストが信頼できないモデル予測を引き起こすと仮定している。
論文 参考訳(メタデータ) (2021-07-23T01:50:22Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。