論文の概要: Explaining Prediction Uncertainty of Pre-trained Language Models by Detecting Uncertain Words in Inputs

• arxiv url: http://arxiv.org/abs/2201.03742v1
• Date: Tue, 11 Jan 2022 02:04:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-12 14:21:24.239548
• Title: Explaining Prediction Uncertainty of Pre-trained Language Models by Detecting Uncertain Words in Inputs
• Title（参考訳）: 入力中の不確かさの検出による事前学習言語モデルの予測不確かさの説明
• Authors: Hanjie Chen, Yangfeng Ji
• Abstract要約: 本稿では,事前校正後の事前学習言語モデルの不確実な予測について,その説明をさらに進める。 我々は2つの摂動に基づくポストホック解釈手法、Leave-one-outとSamping Shapleyを適用し、予測の不確実性の原因となる入力中の単語を同定する。
• 参考スコア（独自算出の注目度）: 21.594361495948316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating the predictive uncertainty of pre-trained language models is important for increasing their trustworthiness in NLP. Although many previous works focus on quantifying prediction uncertainty, there is little work on explaining the uncertainty. This paper pushes a step further on explaining uncertain predictions of post-calibrated pre-trained language models. We adapt two perturbation-based post-hoc interpretation methods, Leave-one-out and Sampling Shapley, to identify words in inputs that cause the uncertainty in predictions. We test the proposed methods on BERT and RoBERTa with three tasks: sentiment classification, natural language inference, and paraphrase identification, in both in-domain and out-of-domain settings. Experiments show that both methods consistently capture words in inputs that cause prediction uncertainty.
• Abstract（参考訳）: プレトレーニング言語モデルの予測不確実性を推定することは,NLPにおける信頼性を高める上で重要である。 先行研究の多くは予測の不確かさの定量化に重点を置いているが、不確実性を説明する作業はほとんどない。 本稿では,事前訓練後の言語モデルの不確定な予測について,さらに説明していく。 2つの摂動法に基づくポストホック解釈法であるlet-one-out と sample shapley を適用し,予測の不確実性を引き起こす入力中の単語を同定した。 提案手法をBERTとRoBERTaの3つのタスク(感情分類、自然言語推論、パラフレーズ識別)で、ドメイン内およびドメイン外の両方で検証する。 実験により、どちらの手法も、予測の不確実性を引き起こす入力中の単語を常に捕捉することを示した。

関連論文リスト

• Efficient Normalized Conformal Prediction and Uncertainty Quantification for Anti-Cancer Drug Sensitivity Prediction with Deep Regression Forests [0.0]
  予測間隔で機械学習モデルをペアリングするための有望な方法として、コンフォーマル予測が登場した。 本研究では,深部回帰林から得られた分散度を算出し,各試料の不確かさを推定する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T19:09:53Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• Conformalizing Machine Translation Evaluation [9.89901717499058]
  近年,機械翻訳評価のための不確実性推定手法が提案されている。 モデルの不確実性を過小評価する傾向があり、結果として、基礎的な真実をカバーしない誤った信頼区間をしばしば生み出す。 本稿では,共形予測(conformal prediction)の代替として,理論的に確立されたカバレッジ保証付き信頼区間を求める分布自由化手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T19:36:18Z)
• CUE: An Uncertainty Interpretation Framework for Text Classifiers Built on Pre-Trained Language Models [28.750894873827068]
  本稿では,PLMモデルに固有の不確かさを解釈することを目的とした,CUEと呼ばれる新しいフレームワークを提案する。 摂動と原文表現の予測不確実性の違いを比較することにより,不確実性の原因となる潜伏次元を同定することができる。
  論文  参考訳（メタデータ） (2023-06-06T11:37:46Z)
• Integrating Uncertainty into Neural Network-based Speech Enhancement [27.868722093985006]
  時間周波数領域における監視されたマスキングアプローチは、ディープニューラルネットワークを使用して乗法マスクを推定し、クリーンな音声を抽出することを目的としている。 これにより、信頼性の保証や尺度を使わずに、各入力に対する単一の見積もりが導かれる。 クリーン音声推定における不確実性モデリングの利点について検討する。
  論文  参考訳（メタデータ） (2023-05-15T15:55:12Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• Getting a CLUE: A Method for Explaining Uncertainty Estimates [30.367995696223726]
  微分可能確率モデルからの不確実性推定を解釈する新しい手法を提案する。 提案手法は,データ多様体上に保持しながら,入力の変更方法を示す。
  論文  参考訳（メタデータ） (2020-06-11T21:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。