論文の概要: Exploring Predictive Uncertainty and Calibration in NLP: A Study on the
Impact of Method & Data Scarcity
- arxiv url: http://arxiv.org/abs/2210.15452v1
- Date: Thu, 20 Oct 2022 15:42:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-30 11:45:01.756745
- Title: Exploring Predictive Uncertainty and Calibration in NLP: A Study on the
Impact of Method & Data Scarcity
- Title（参考訳）: nlpにおける予測不確実性と校正の検討:手法とデータ不足の影響に関する研究
- Authors: Dennis Ulmer, Jes Frellsen, Christian Hardmeier
- Abstract要約: 我々は、幅広いアプローチから推定値の質を評価し、利用可能なデータ量に依存する。
事前訓練されたモデルとアンサンブルに基づくアプローチは全体として最高の結果を得るが、不確実性推定の品質は驚くほど多くのデータに悩まされる。
- 参考スコア（独自算出の注目度）: 7.3372471678239215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the problem of determining the predictive confidence (or,
conversely, uncertainty) of a neural classifier through the lens of
low-resource languages. By training models on sub-sampled datasets in three
different languages, we assess the quality of estimates from a wide array of
approaches and their dependence on the amount of available data. We find that
while approaches based on pre-trained models and ensembles achieve the best
results overall, the quality of uncertainty estimates can surprisingly suffer
with more data. We also perform a qualitative analysis of uncertainties on
sequences, discovering that a model's total uncertainty seems to be influenced
to a large degree by its data uncertainty, not model uncertainty. All model
implementations are open-sourced in a software package.
- Abstract（参考訳）: 低リソース言語のレンズを通して、神経分類器の予測信頼度(または逆に不確実性)を決定する問題を調べる。
3つの異なる言語のサブサンプルデータセットのモデルをトレーニングすることにより、幅広いアプローチからの見積もりの品質と利用可能なデータ量への依存性を評価する。
事前訓練されたモデルとアンサンブルに基づくアプローチは全体として最高の結果を得るが、不確実性推定の品質は驚くほど多くのデータに悩まされる。
また、シーケンス上の不確実性に関する定性的な分析を行い、モデル全体の不確実性は、モデルの不確実性ではなく、データの不確実性によって大きく影響されることを発見した。
すべてのモデル実装は、ソフトウェアパッケージでオープンソースである。
関連論文リスト
- Source-Free Domain-Invariant Performance Prediction [68.39031800809553]
本研究では,不確実性に基づく推定を主軸としたソースフリー手法を提案する。
オブジェクト認識データセットのベンチマーク実験により、既存のソースベースの手法は、限られたソースサンプルの可用性で不足していることが判明した。
提案手法は,現在の最先端のソースフリーおよびソースベース手法よりも優れており,ドメイン不変性能推定の有効性が確認されている。
論文 参考訳（メタデータ） (2024-08-05T03:18:58Z) - Uncertainty for Active Learning on Graphs [70.44714133412592]
不確実性サンプリングは、機械学習モデルのデータ効率を改善することを目的とした、アクティブな学習戦略である。
予測の不確実性を超えた不確実性サンプリングをベンチマークし、他のアクティブラーニング戦略に対する大きなパフォーマンスギャップを強調します。
提案手法は,データ生成プロセスの観点から基幹的ベイズ不確実性推定法を開発し,不確実性サンプリングを最適クエリへ導く上での有効性を実証する。
論文 参考訳（メタデータ） (2024-05-02T16:50:47Z) - One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。
幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
論文 参考訳（メタデータ） (2023-12-16T14:59:11Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z) - On Uncertainty Calibration and Selective Generation in Probabilistic
Neural Summarization: A Benchmark Study [14.041071717005362]
要約のための最新のディープモデルは、優れたベンチマーク性能を得るが、誤校正された予測の不確実性を生成する傾向にある。
これは、低品質の予測に高い信頼性を割り当て、現実世界のアプリケーションにおける信頼性と信頼性を損なうことを意味する。
確率的深層学習法は誤校正問題の一般的な解法であるが, 複雑な自己回帰的要約タスクにおける相対的有効性はよく理解されていない。
論文 参考訳（メタデータ） (2023-04-17T23:06:28Z) - Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。
我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
論文 参考訳（メタデータ） (2023-04-13T17:56:08Z) - ALUM: Adversarial Data Uncertainty Modeling from Latent Model
Uncertainty Compensation [25.67258563807856]
本稿では,モデル不確実性とデータ不確実性を扱うALUMという新しい手法を提案する。
提案するALUMはモデルに依存しないため,オーバーヘッドの少ない既存のディープモデルに容易に実装できる。
論文 参考訳（メタデータ） (2023-03-29T17:24:12Z) - Reliable Multimodal Trajectory Prediction via Error Aligned Uncertainty
Optimization [11.456242421204298]
よく校正されたモデルでは、不確実性推定はモデル誤差と完全に相関する。
本稿では,モデル誤差に整合した品質不確実性推定を導出するための,新しい誤差整合不確実性最適化手法を提案する。
本研究では, 平均変位誤差を1.69%, 4.69%, モデル誤差との不確実性相関を17.22%, 19.13%, ピアソン相関係数で定量化することにより, 平均変位誤差を1.69%, 4.69%改善することを示した。
論文 参考訳（メタデータ） (2022-12-09T12:33:26Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - Modeling Disagreement in Automatic Data Labelling for Semi-Supervised
Learning in Clinical Natural Language Processing [2.016042047576802]
放射線学報告における観測検出問題に応用した最先端の予測モデルからの不確実性推定の品質について検討する。
論文 参考訳（メタデータ） (2022-05-29T20:20:49Z) - Estimating Predictive Uncertainty Under Program Data Distribution Shift [3.603932017607092]
明確に定義された不確実性は、モデルの出力が信頼されるべきである(または信用すべきでない)かどうかを示す。
既存の不確実性アプローチでは、異なるデータ分布からのサンプルのテストが信頼できないモデル予測を引き起こすと仮定している。
論文 参考訳（メタデータ） (2021-07-23T01:50:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。