論文の概要: Explaining Prediction Uncertainty of Pre-trained Language Models by
Detecting Uncertain Words in Inputs
- arxiv url: http://arxiv.org/abs/2201.03742v1
- Date: Tue, 11 Jan 2022 02:04:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-12 14:21:24.239548
- Title: Explaining Prediction Uncertainty of Pre-trained Language Models by
Detecting Uncertain Words in Inputs
- Title(参考訳): 入力中の不確かさの検出による事前学習言語モデルの予測不確かさの説明
- Authors: Hanjie Chen, Yangfeng Ji
- Abstract要約: 本稿では,事前校正後の事前学習言語モデルの不確実な予測について,その説明をさらに進める。
我々は2つの摂動に基づくポストホック解釈手法、Leave-one-outとSamping Shapleyを適用し、予測の不確実性の原因となる入力中の単語を同定する。
- 参考スコア(独自算出の注目度): 21.594361495948316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Estimating the predictive uncertainty of pre-trained language models is
important for increasing their trustworthiness in NLP. Although many previous
works focus on quantifying prediction uncertainty, there is little work on
explaining the uncertainty. This paper pushes a step further on explaining
uncertain predictions of post-calibrated pre-trained language models. We adapt
two perturbation-based post-hoc interpretation methods, Leave-one-out and
Sampling Shapley, to identify words in inputs that cause the uncertainty in
predictions. We test the proposed methods on BERT and RoBERTa with three tasks:
sentiment classification, natural language inference, and paraphrase
identification, in both in-domain and out-of-domain settings. Experiments show
that both methods consistently capture words in inputs that cause prediction
uncertainty.
- Abstract(参考訳): プレトレーニング言語モデルの予測不確実性を推定することは,NLPにおける信頼性を高める上で重要である。
先行研究の多くは予測の不確かさの定量化に重点を置いているが、不確実性を説明する作業はほとんどない。
本稿では,事前訓練後の言語モデルの不確定な予測について,さらに説明していく。
2つの摂動法に基づくポストホック解釈法であるlet-one-out と sample shapley を適用し,予測の不確実性を引き起こす入力中の単語を同定した。
提案手法をBERTとRoBERTaの3つのタスク(感情分類、自然言語推論、パラフレーズ識別)で、ドメイン内およびドメイン外の両方で検証する。
実験により、どちらの手法も、予測の不確実性を引き起こす入力中の単語を常に捕捉することを示した。
関連論文リスト
- Efficient Normalized Conformal Prediction and Uncertainty Quantification
for Anti-Cancer Drug Sensitivity Prediction with Deep Regression Forests [0.0]
予測間隔で機械学習モデルをペアリングするための有望な方法として、コンフォーマル予測が登場した。
本研究では,深部回帰林から得られた分散度を算出し,各試料の不確かさを推定する手法を提案する。
論文 参考訳(メタデータ) (2024-02-21T19:09:53Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳(メタデータ) (2023-08-03T12:43:21Z) - Conformalizing Machine Translation Evaluation [9.89901717499058]
近年,機械翻訳評価のための不確実性推定手法が提案されている。
モデルの不確実性を過小評価する傾向があり、結果として、基礎的な真実をカバーしない誤った信頼区間をしばしば生み出す。
本稿では,共形予測(conformal prediction)の代替として,理論的に確立されたカバレッジ保証付き信頼区間を求める分布自由化手法を提案する。
論文 参考訳(メタデータ) (2023-06-09T19:36:18Z) - CUE: An Uncertainty Interpretation Framework for Text Classifiers Built
on Pre-Trained Language Models [28.750894873827068]
本稿では,PLMモデルに固有の不確かさを解釈することを目的とした,CUEと呼ばれる新しいフレームワークを提案する。
摂動と原文表現の予測不確実性の違いを比較することにより,不確実性の原因となる潜伏次元を同定することができる。
論文 参考訳(メタデータ) (2023-06-06T11:37:46Z) - Integrating Uncertainty into Neural Network-based Speech Enhancement [27.868722093985006]
時間周波数領域における監視されたマスキングアプローチは、ディープニューラルネットワークを使用して乗法マスクを推定し、クリーンな音声を抽出することを目的としている。
これにより、信頼性の保証や尺度を使わずに、各入力に対する単一の見積もりが導かれる。
クリーン音声推定における不確実性モデリングの利点について検討する。
論文 参考訳(メタデータ) (2023-05-15T15:55:12Z) - Toward Reliable Human Pose Forecasting with Uncertainty [62.83828620074307]
我々は、複数のモデル、データセット、標準化された評価指標を特徴とする、人間のポーズ予測のためのオープンソースのライブラリを開発した。
本研究では,不確かさの挙動に関する知識を注入するために,不確実性事前を用いてアレタリック不確かさをモデル化する手法を提案する。
実験では,精度が最大で25%向上し,不確実性推定の性能が向上した。
論文 参考訳(メタデータ) (2023-04-13T17:56:08Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳(メタデータ) (2022-10-24T17:53:20Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳(メタデータ) (2022-02-07T12:30:45Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳(メタデータ) (2021-10-13T01:23:48Z) - DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。
一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2021-02-16T23:50:35Z) - Getting a CLUE: A Method for Explaining Uncertainty Estimates [30.367995696223726]
微分可能確率モデルからの不確実性推定を解釈する新しい手法を提案する。
提案手法は,データ多様体上に保持しながら,入力の変更方法を示す。
論文 参考訳(メタデータ) (2020-06-11T21:53:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。