論文の概要: CUE: An Uncertainty Interpretation Framework for Text Classifiers Built
on Pre-Trained Language Models
- arxiv url: http://arxiv.org/abs/2306.03598v1
- Date: Tue, 6 Jun 2023 11:37:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 15:43:28.612971
- Title: CUE: An Uncertainty Interpretation Framework for Text Classifiers Built
on Pre-Trained Language Models
- Title(参考訳): CUE: 事前学習言語モデルに基づくテキスト分類のための不確実性解釈フレームワーク
- Authors: Jiazheng Li, Zhaoyue Sun, Bin Liang, Lin Gui, Yulan He
- Abstract要約: 本稿では,PLMモデルに固有の不確かさを解釈することを目的とした,CUEと呼ばれる新しいフレームワークを提案する。
摂動と原文表現の予測不確実性の違いを比較することにより,不確実性の原因となる潜伏次元を同定することができる。
- 参考スコア(独自算出の注目度): 28.750894873827068
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text classifiers built on Pre-trained Language Models (PLMs) have achieved
remarkable progress in various tasks including sentiment analysis, natural
language inference, and question-answering. However, the occurrence of
uncertain predictions by these classifiers poses a challenge to their
reliability when deployed in practical applications. Much effort has been
devoted to designing various probes in order to understand what PLMs capture.
But few studies have delved into factors influencing PLM-based classifiers'
predictive uncertainty. In this paper, we propose a novel framework, called
CUE, which aims to interpret uncertainties inherent in the predictions of
PLM-based models. In particular, we first map PLM-encoded representations to a
latent space via a variational auto-encoder. We then generate text
representations by perturbing the latent space which causes fluctuation in
predictive uncertainty. By comparing the difference in predictive uncertainty
between the perturbed and the original text representations, we are able to
identify the latent dimensions responsible for uncertainty and subsequently
trace back to the input features that contribute to such uncertainty. Our
extensive experiments on four benchmark datasets encompassing linguistic
acceptability classification, emotion classification, and natural language
inference show the feasibility of our proposed framework. Our source code is
available at: https://github.com/lijiazheng99/CUE.
- Abstract(参考訳): プレトレーニング言語モデル(PLM)に基づくテキスト分類器は、感情分析、自然言語推論、質問応答など様々なタスクにおいて顕著な進歩を遂げている。
しかし、これらの分類器による不確実な予測の発生は、実用アプリケーションに展開する際の信頼性に課題をもたらす。
PLMが何を捉えているのかを理解するために、様々なプローブの設計に多くの努力が注がれている。
しかし、PLMに基づく分類器の予測の不確実性に影響を与える要因を調査する研究はほとんどない。
本稿では,PLMモデルに固有の不確かさを解釈することを目的とした,CUEと呼ばれる新しいフレームワークを提案する。
特に,変分オートエンコーダを用いて,まずPLM符号化表現を潜在空間にマッピングする。
次に、予測不確実性の変動を引き起こす潜在空間を摂動することで、テキスト表現を生成する。
摂動と元のテキスト表現の予測の不確実性の違いを比較することで、不確実性の原因となる潜在次元を特定し、その不確実性に寄与する入力特徴に遡ることができる。
言語受容性分類,感情分類,自然言語推論を含む4つのベンチマークデータセットに関する広範な実験により,提案手法の有効性が示された。
ソースコードはhttps://github.com/lijiazheng99/cueで入手できます。
関連論文リスト
- Uncertainty Decomposition and Quantification for In-Context Learning of
Large Language Models [54.18411645870683]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。
両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。
提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文 参考訳(メタデータ) (2024-02-15T18:46:24Z) - Improving Language Models Meaning Understanding and Consistency by
Learning Conceptual Roles from Dictionary [65.268245109828]
現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。
驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。
本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-24T06:15:15Z) - Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-29T09:41:19Z) - Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。
出力予測が大幅に変化する特徴を最適化する。
本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
論文 参考訳(メタデータ) (2023-05-03T14:48:27Z) - A Latent-Variable Model for Intrinsic Probing [94.61336186402615]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳(メタデータ) (2022-01-20T15:01:12Z) - Explaining Prediction Uncertainty of Pre-trained Language Models by
Detecting Uncertain Words in Inputs [21.594361495948316]
本稿では,事前校正後の事前学習言語モデルの不確実な予測について,その説明をさらに進める。
我々は2つの摂動に基づくポストホック解釈手法、Leave-one-outとSamping Shapleyを適用し、予測の不確実性の原因となる入力中の単語を同定する。
論文 参考訳(メタデータ) (2022-01-11T02:04:50Z) - More Than Words: Towards Better Quality Interpretations of Text
Classifiers [16.66535643383862]
MLモデルの入力インタフェースを考えると、トークンベースの解釈性は便利な第1選択であるが、あらゆる状況において最も効果的ではないことを示す。
1)ランダム化テストにより測定されるほど頑健であり,2)SHAPのような近似に基づく手法を用いた場合の変動性が低く,3)言語的コヒーレンスがより高い水準にある場合の人間には理解できない。
論文 参考訳(メタデータ) (2021-12-23T10:18:50Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳(メタデータ) (2021-09-24T03:49:38Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳(メタデータ) (2020-12-10T01:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。