論文の概要: Calibration of Natural Language Understanding Models with Venn--ABERS
Predictors
- arxiv url: http://arxiv.org/abs/2205.10586v1
- Date: Sat, 21 May 2022 13:09:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-05 15:58:14.890604
- Title: Calibration of Natural Language Understanding Models with Venn--ABERS
Predictors
- Title(参考訳): Venn-AbeRS予測を用いた自然言語理解モデルの校正
- Authors: Patrizio Giovannotti
- Abstract要約: トランスフォーマーは、校正されていない予測や極端な確率を生成する傾向がある。
我々は、事前学習した変換器の選択に基づいて、いくつかの誘導型Venn--ABERS予測器(IVAP)を構築した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers, currently the state-of-the-art in natural language
understanding (NLU) tasks, are prone to generate uncalibrated predictions or
extreme probabilities, making the process of taking different decisions based
on their output relatively difficult. In this paper we propose to build several
inductive Venn--ABERS predictors (IVAP), which are guaranteed to be well
calibrated under minimal assumptions, based on a selection of pre-trained
transformers. We test their performance over a set of diverse NLU tasks and
show that they are capable of producing well-calibrated probabilistic
predictions that are uniformly spread over the [0,1] interval -- all while
retaining the original model's predictive accuracy.
- Abstract(参考訳): 現在、自然言語理解(NLU)タスクの最先端であるトランスフォーマーは、未検証の予測や極端な確率を生成する傾向にあり、出力に基づいて異なる決定を下すプロセスは比較的困難である。
本稿では,事前学習した変圧器の選択に基づいて,最小限の仮定でキャリブレーションされた複数の誘導型Venn--ABERS予測器(IVAP)を構築することを提案する。
我々は,一連の多様なNLUタスクに対して,その性能を検証し,原モデルの予測精度を維持しつつ,[0,1]間隔を均一に分散した,よく校正された確率予測を生成可能であることを示す。
関連論文リスト
- Predicting generalization performance with correctness discriminators [64.00420578048855]
未確認データに対して,金のラベルを必要とせず,精度の上下境界を確立する新しいモデルを提案する。
予測された上境界と下限の間に金の精度が確実に成立する様々なタグ付け、構文解析、意味解析タスクを示す。
論文 参考訳(メタデータ) (2023-11-15T22:43:42Z) - Invariant Probabilistic Prediction [45.88151520988133]
任意の分布シフトは、一般に不変かつ頑健な確率的予測を認めないことを示す。
Invariant probabilistic predictions called IPP, and study the consistency of the underlying parameters。
論文 参考訳(メタデータ) (2023-09-18T18:50:24Z) - Conformal Language Modeling [63.69391255926407]
生成言語モデル(LM)の共形予測のための新しい手法を提案する。
標準共形予測は厳密で統計的に保証された予測セットを生成する。
我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
論文 参考訳(メタデータ) (2023-06-16T21:55:08Z) - Conformal Nucleus Sampling [67.5232384936661]
最上位のp$集合が、様々な言語文脈における確率的意味と実際に一致しているかを評価する。
OPTモデルは過信であり、キャリブレーションはモデルサイズで適度な逆スケーリングを示す。
論文 参考訳(メタデータ) (2023-05-04T08:11:57Z) - Calibrating AI Models for Wireless Communications via Conformal
Prediction [55.47458839587949]
コンフォーマル予測は,通信システムにおけるAIの設計に初めて適用される。
本稿では,形式的校正保証付き決定を生成するAIモデルを得るための一般フレームワークとしての共形予測の適用について検討する。
論文 参考訳(メタデータ) (2022-12-15T12:52:23Z) - Correcting Model Bias with Sparse Implicit Processes [0.9187159782788579]
SIP(Sparse Implicit Processes)は,データ生成機構がモデルによって入力されるものと強く異なる場合,モデルバイアスを補正できることを示す。
合成データセットを用いて、SIPは、初期推定モデルの正確な予測よりもデータをよりよく反映する予測分布を提供することができることを示す。
論文 参考訳(メタデータ) (2022-07-21T18:00:01Z) - Deep interpretable ensembles [0.0]
ディープアンサンブルでは、個々のモデルは通常ブラックボックスニューラルネットワーク、または最近では部分的に解釈可能な半構造化されたディープトランスフォーメーションモデルである。
本稿では,確率論的予測を集約し,解釈可能性を維持し,平均的なアンサンブルメンバーよりも均一に優れた予測を得られる新しい変換アンサンブルを提案する。
論文 参考訳(メタデータ) (2022-05-25T12:39:39Z) - Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic
Regression [51.770998056563094]
PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。
既存の最先端手法と比較してPGBMの利点を実証的に示す。
論文 参考訳(メタデータ) (2021-06-03T08:32:13Z) - Probabilistic electric load forecasting through Bayesian Mixture Density
Networks [70.50488907591463]
確率的負荷予測(PLF)は、スマートエネルギーグリッドの効率的な管理に必要な拡張ツールチェーンの重要なコンポーネントです。
ベイジアン混合密度ネットワークを枠とした新しいPLFアプローチを提案する。
後方分布の信頼性と計算にスケーラブルな推定を行うため,平均場変動推定と深層アンサンブルを統合した。
論文 参考訳(メタデータ) (2020-12-23T16:21:34Z) - Meta-Learning Stationary Stochastic Process Prediction with
Convolutional Neural Processes [32.02612871707347]
提案するConvNPは,ニューラルプロセス(NP)に翻訳等価性を付与し,畳み込み条件NPを拡張して予測分布への依存性を許容する。
本研究では,1DにおけるConvNPの強い性能と一般化能力,回帰画像補完,実時間データを用いた各種タスクについて述べる。
論文 参考訳(メタデータ) (2020-07-02T18:25:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。