論文の概要: Conformal Prediction with Large Language Models for Multi-Choice
Question Answering
- arxiv url: http://arxiv.org/abs/2305.18404v2
- Date: Thu, 1 Jun 2023 09:46:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 11:10:42.048918
- Title: Conformal Prediction with Large Language Models for Multi-Choice
Question Answering
- Title(参考訳): 複数質問応答のための大規模言語モデルによるコンフォーマル予測
- Authors: Bhawesh Kumar, Charlie Lu, Gauri Gupta, Anil Palepu, David Bellamy,
Ramesh Raskar, Andrew Beam
- Abstract要約: 共形予測からの不確実性推定は予測精度と密接に相関していることがわかった。
この研究は、安全クリティカルな状況において、より信頼性が高く信頼性の高い大規模言語モデルの活用に寄与する。
- 参考スコア(独自算出の注目度): 7.049780432343948
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models continue to be widely developed, robust uncertainty
quantification techniques will become crucial for their safe deployment in
high-stakes scenarios. In this work, we explore how conformal prediction can be
used to provide uncertainty quantification in language models for the specific
task of multiple-choice question-answering. We find that the uncertainty
estimates from conformal prediction are tightly correlated with prediction
accuracy. This observation can be useful for downstream applications such as
selective classification and filtering out low-quality predictions. We also
investigate the exchangeability assumption required by conformal prediction to
out-of-subject questions, which may be a more realistic scenario for many
practical applications. Our work contributes towards more trustworthy and
reliable usage of large language models in safety-critical situations, where
robust guarantees of error rate are required.
- Abstract(参考訳): 大規模言語モデルが広く開発され続けるにつれて、ロバストな不確実性定量化技術が、高スループットシナリオにおける安全なデプロイメントに不可欠になる。
本研究では,複数質問応答の特定のタスクに対して,共形予測を用いて言語モデルに不確かさの定量化を行う方法について検討する。
共形予測からの不確実性推定は予測精度と密接に相関していることがわかった。
この観測は、選択分類や低品質予測のフィルタリングといった下流の応用に有用である。
また,共形予測が主観的疑問に求める交換可能性の仮定についても検討し,多くの実用的応用においてより現実的なシナリオとなる可能性について考察した。
我々の研究は、エラー率の確実な保証が必要な安全クリティカルな状況において、より信頼性が高く信頼性の高い大規模言語モデルの活用に寄与する。
関連論文リスト
- Conformal Prediction for Natural Language Processing: A Survey [23.638214012459425]
コンフォーマル予測は理論的に健全で実用的なフレームワークとして現れている。
そのモデルに依存しない分布のない性質は、特にNLPシステムの現在の欠点に対処することを約束している。
本稿では,共形予測手法とその保証,およびNLPにおける既存応用に関する包括的調査を行う。
論文 参考訳(メタデータ) (2024-05-03T10:00:45Z) - Efficient Normalized Conformal Prediction and Uncertainty Quantification
for Anti-Cancer Drug Sensitivity Prediction with Deep Regression Forests [0.0]
予測間隔で機械学習モデルをペアリングするための有望な方法として、コンフォーマル予測が登場した。
本研究では,深部回帰林から得られた分散度を算出し,各試料の不確かさを推定する手法を提案する。
論文 参考訳(メタデータ) (2024-02-21T19:09:53Z) - Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。
我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
論文 参考訳(メタデータ) (2023-11-26T22:47:54Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳(メタデータ) (2023-08-03T12:43:21Z) - Calibrated Selective Classification [38.01669058597009]
そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。
本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。
われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
論文 参考訳(メタデータ) (2022-08-25T13:31:09Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳(メタデータ) (2021-10-13T01:23:48Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳(メタデータ) (2021-02-11T18:59:11Z) - Estimation with Uncertainty via Conditional Generative Adversarial
Networks [3.829070379776576]
条件付き生成逆数ネットワーク(cGAN)におけるジェネレータの使い方が異なる予測確率型ニューラルネットワークモデルを提案する。
通常のcGANの入力と出力を反転させることで、モデルを予測モデルとしてうまく利用することができる。
さらに,予測の不確実性を測定するために,回帰問題や分類問題に対するエントロピーと相対エントロピーを導入する。
論文 参考訳(メタデータ) (2020-07-01T08:54:17Z) - Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via
Higher-Order Influence Functions [121.10450359856242]
我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。
1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
論文 参考訳(メタデータ) (2020-06-29T13:36:52Z) - Ambiguity in Sequential Data: Predicting Uncertain Futures with
Recurrent Models [110.82452096672182]
逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。
また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
論文 参考訳(メタデータ) (2020-03-10T09:15:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。