論文の概要: Conformal Prediction with Large Language Models for Multi-Choice Question Answering

• arxiv url: http://arxiv.org/abs/2305.18404v3
• Date: Sat, 8 Jul 2023 02:20:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 18:14:39.782483
• Title: Conformal Prediction with Large Language Models for Multi-Choice Question Answering
• Title（参考訳）: 複数質問応答のための大規模言語モデルによるコンフォーマル予測
• Authors: Bhawesh Kumar, Charlie Lu, Gauri Gupta, Anil Palepu, David Bellamy, Ramesh Raskar, Andrew Beam
• Abstract要約: 共形予測からの不確実性推定は予測精度と密接に相関していることがわかった。 この研究は、安全クリティカルな状況において、より信頼性が高く信頼性の高い大規模言語モデルの活用に寄与する。
• 参考スコア（独自算出の注目度）: 7.049780432343948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models continue to be widely developed, robust uncertainty quantification techniques will become crucial for their safe deployment in high-stakes scenarios. In this work, we explore how conformal prediction can be used to provide uncertainty quantification in language models for the specific task of multiple-choice question-answering. We find that the uncertainty estimates from conformal prediction are tightly correlated with prediction accuracy. This observation can be useful for downstream applications such as selective classification and filtering out low-quality predictions. We also investigate the exchangeability assumption required by conformal prediction to out-of-subject questions, which may be a more realistic scenario for many practical applications. Our work contributes towards more trustworthy and reliable usage of large language models in safety-critical situations, where robust guarantees of error rate are required.
• Abstract（参考訳）: 大規模言語モデルが広く開発され続けるにつれて、ロバストな不確実性定量化技術が、高スループットシナリオにおける安全なデプロイメントに不可欠になる。 本研究では,複数質問応答の特定のタスクに対して,共形予測を用いて言語モデルに不確かさの定量化を行う方法について検討する。 共形予測からの不確実性推定は予測精度と密接に相関していることがわかった。 この観測は、選択分類や低品質予測のフィルタリングといった下流の応用に有用である。 また,共形予測が主観的疑問に求める交換可能性の仮定についても検討し,多くの実用的応用においてより現実的なシナリオとなる可能性について考察した。 我々の研究は、エラー率の確実な保証が必要な安全クリティカルな状況において、より信頼性が高く信頼性の高い大規模言語モデルの活用に寄与する。

関連論文リスト

• On Subjective Uncertainty Quantification and Calibration in Natural Language Generation [2.622066970118316]
  大規模言語モデルは多くの場合、不確実な定量化が困難になるような自由形式の応答を生成する。 この研究はベイズ決定論の観点から、我々の効用は類似度尺度によって特徴づけられるという前提から、これらの課題に対処する。 本稿では,質問応答と機械翻訳タスクに関する提案手法について述べる。
  論文  参考訳（メタデータ） (2024-06-07T18:54:40Z)
• Just rephrase it! Uncertainty estimation in closed-source language models via multiple rephrased queries [6.249216559519607]
  元のベースクエリの複数の言い換えにより,クローズドソースの大規模言語モデルの不確かさを推定する。 本手法は, ベースラインと比較して不確実性推定の校正精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2024-05-22T18:28:26Z)
• Conformal Prediction for Natural Language Processing: A Survey [23.638214012459425]
  コンフォーマル予測は理論的に健全で実用的なフレームワークとして現れている。 そのモデルに依存しない分布のない性質は、特にNLPシステムの現在の欠点に対処することを約束している。 本稿では,共形予測手法とその保証,およびNLPにおける既存応用に関する包括的調査を行う。
  論文  参考訳（メタデータ） (2024-05-03T10:00:45Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Estimation with Uncertainty via Conditional Generative Adversarial Networks [3.829070379776576]
  条件付き生成逆数ネットワーク(cGAN)におけるジェネレータの使い方が異なる予測確率型ニューラルネットワークモデルを提案する。 通常のcGANの入力と出力を反転させることで、モデルを予測モデルとしてうまく利用することができる。 さらに,予測の不確実性を測定するために,回帰問題や分類問題に対するエントロピーと相対エントロピーを導入する。
  論文  参考訳（メタデータ） (2020-07-01T08:54:17Z)
• Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via Higher-Order Influence Functions [121.10450359856242]
  我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。 1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
  論文  参考訳（メタデータ） (2020-06-29T13:36:52Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。