論文の概要: PAC Neural Prediction Set Learning to Quantify the Uncertainty of
Generative Language Models
- arxiv url: http://arxiv.org/abs/2307.09254v1
- Date: Tue, 18 Jul 2023 13:36:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 14:33:56.143753
- Title: PAC Neural Prediction Set Learning to Quantify the Uncertainty of
Generative Language Models
- Title(参考訳): 生成言語モデルの不確かさを定量化するPACニューラル予測セット学習
- Authors: Sangdon Park and Taesoo Kim
- Abstract要約: 我々は、生成言語モデル(GLM)の不確かさを定量化するための、ほぼ正しい(PAC)保証を持つニューラルネットワーク予測セットモデルを学習する。
スカラー値でパラメータ化されている既存の予測セットモデルとは異なり、ニューラルネットワークによる予測セットのパラメータ化を提案する。
本手法は,標準基準法と比較して,定量化の不確かさを平均63%の値で改善することを示す。
- 参考スコア(独自算出の注目度): 14.61061898015653
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncertainty learning and quantification of models are crucial tasks to
enhance the trustworthiness of the models. Importantly, the recent surge of
generative language models (GLMs) emphasizes the need for reliable uncertainty
quantification due to the concerns on generating hallucinated facts. In this
paper, we propose to learn neural prediction set models that comes with the
probably approximately correct (PAC) guarantee for quantifying the uncertainty
of GLMs. Unlike existing prediction set models, which are parameterized by a
scalar value, we propose to parameterize prediction sets via neural networks,
which achieves more precise uncertainty quantification but still satisfies the
PAC guarantee. We demonstrate the efficacy of our method on four types of
language datasets and six types of models by showing that our method improves
the quantified uncertainty by $63\%$ on average, compared to a standard
baseline method.
- Abstract(参考訳): 不確実性学習とモデルの定量化は,モデルの信頼性を高める上で重要な課題である。
近年のジェネレーティブ言語モデル(GLM)の急激な増加は、幻覚的事実の生成に関する懸念から、確実な不確実性定量化の必要性を強調している。
本稿では,GLMの不確かさを定量化するためのほぼ正当性(PAC)を保証するニューラル予測セットモデルを学習することを提案する。
スカラー値によってパラメータ化される既存の予測セットモデルとは異なり、ニューラルネットワークによる予測セットのパラメータ化を提案し、より正確な不確実性定量化を実現するが、それでもPAC保証を満たす。
本研究では,4種類の言語データセットと6種類のモデルに対する本手法の有効性を,標準ベースライン法と比較して平均6,3\%の量化不確かさを平均6,3\%向上させることを示した。
関連論文リスト
- Quantifying Deep Learning Model Uncertainty in Conformal Prediction [1.4685355149711297]
コンフォーマル予測(Conformal Prediction)は、モデルの不確実性を表現するための有望なフレームワークである。
本稿では,最先端CP手法とその理論的基礎について考察する。
論文 参考訳(メタデータ) (2023-06-01T16:37:50Z) - Integrating Uncertainty into Neural Network-based Speech Enhancement [27.868722093985006]
時間周波数領域における監視されたマスキングアプローチは、ディープニューラルネットワークを使用して乗法マスクを推定し、クリーンな音声を抽出することを目的としている。
これにより、信頼性の保証や尺度を使わずに、各入力に対する単一の見積もりが導かれる。
クリーン音声推定における不確実性モデリングの利点について検討する。
論文 参考訳(メタデータ) (2023-05-15T15:55:12Z) - ALUM: Adversarial Data Uncertainty Modeling from Latent Model
Uncertainty Compensation [25.67258563807856]
本稿では,モデル不確実性とデータ不確実性を扱うALUMという新しい手法を提案する。
提案するALUMはモデルに依存しないため,オーバーヘッドの少ない既存のディープモデルに容易に実装できる。
論文 参考訳(メタデータ) (2023-03-29T17:24:12Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳(メタデータ) (2022-10-24T17:53:20Z) - Confidence estimation of classification based on the distribution of the
neural network output layer [4.529188601556233]
現実の世界における予測モデルの適用を防ぐための最も一般的な問題の1つは一般化の欠如である。
ニューラルネットワーク分類モデルにより生成された特定の予測の不確かさを推定する新しい手法を提案する。
提案手法は,この予測に対応するロジット値の分布に基づいて,特定の予測の信頼性を推定する。
論文 参考訳(メタデータ) (2022-10-14T12:32:50Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳(メタデータ) (2022-02-07T12:30:45Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳(メタデータ) (2021-10-13T01:23:48Z) - When in Doubt: Neural Non-Parametric Uncertainty Quantification for
Epidemic Forecasting [70.54920804222031]
既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。
不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。
本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
論文 参考訳(メタデータ) (2021-06-07T18:31:47Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳(メタデータ) (2020-05-21T16:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。