論文の概要: Calibrated Large Language Models for Binary Question Answering

• arxiv url: http://arxiv.org/abs/2407.01122v1
• Date: Mon, 1 Jul 2024 09:31:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 22:09:47.019350
• Title: Calibrated Large Language Models for Binary Question Answering
• Title（参考訳）: バイナリ質問応答のための校正大言語モデル
• Authors: Patrizio Giovannotti, Alexander Gammerman,
• Abstract要約: よく校正されたモデルは、その予測が正しい可能性を正確に反映する確率を生成するべきである。 本稿では、帰納的Venn-Abers予測器(IVAP)を用いて、バイナリラベルに対応する出力トークンに関連する確率をキャリブレーションする手法を提案する。
• 参考スコア（独自算出の注目度）: 49.1574468325115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantifying the uncertainty of predictions made by large language models (LLMs) in binary text classification tasks remains a challenge. Calibration, in the context of LLMs, refers to the alignment between the model's predicted probabilities and the actual correctness of its predictions. A well-calibrated model should produce probabilities that accurately reflect the likelihood of its predictions being correct. We propose a novel approach that utilizes the inductive Venn--Abers predictor (IVAP) to calibrate the probabilities associated with the output tokens corresponding to the binary labels. Our experiments on the BoolQ dataset using the Llama 2 model demonstrate that IVAP consistently outperforms the commonly used temperature scaling method for various label token choices, achieving well-calibrated probabilities while maintaining high predictive quality. Our findings contribute to the understanding of calibration techniques for LLMs and provide a practical solution for obtaining reliable uncertainty estimates in binary question answering tasks, enhancing the interpretability and trustworthiness of LLM predictions.
• Abstract（参考訳）: バイナリテキスト分類タスクにおける大規模言語モデル(LLM)による予測の不確実性の定量化は依然として課題である。 キャリブレーション(キャリブレーション、英: Calibration)とは、LLMの文脈において、モデルの予測確率と予測の実際の正しさの整合性を指す。 よく校正されたモデルは、その予測が正しい可能性を正確に反映する確率を生成するべきである。 本稿では、帰納的Venn-Abers予測器(IVAP)を用いて、バイナリラベルに対応する出力トークンに関連する確率をキャリブレーションする手法を提案する。 Llama 2 モデルを用いた BoolQ データセットを用いた実験により,IVAP は様々なラベルのトークン選択によく使用される温度スケーリング法より常に優れており,高い予測品質を維持しつつ,よく校正された確率が得られることを示した。 本研究は, LLMの校正手法の理解に寄与し, 2次質問応答タスクにおける信頼性の高い不確実性推定値を得るための実用的なソリューションを提供するとともに, LLM予測の解釈可能性と信頼性の向上に寄与する。

関連論文リスト

• Addressing Uncertainty in LLMs to Enhance Reliability in Generative AI [47.64301863399763]
  中国レストランプロセスに触発された動的セマンティッククラスタリング手法を提案する。 生成したセマンティッククラスタのエントロピーを計算することにより,あるクエリ上でのLarge Language Model(LLM)の不確実性を定量化する。 本稿では,これらのクラスタの(負の)確率を,コンフォーマル予測フレームワーク内の(非)整合性スコアとして活用することを提案する。
  論文  参考訳（メタデータ） (2024-11-04T18:49:46Z)
• Calibrating Verbalized Probabilities for Large Language Models [7.586709509332433]
  単語化確率の校正は,ブラックボックス大言語モデルからの出力を確実に評価し,活用するための新しいアプローチを示す。 近年の手法では,LLMの信頼性スコアにプラットスケーリングや温度スケーリングなどの手法を適用し,キャリブレーションの改善が示されている。
  論文  参考訳（メタデータ） (2024-10-09T09:20:24Z)
• Quantifying Prediction Consistency Under Model Multiplicity in Tabular LLMs [10.494477811252034]
  微調整された大きな言語モデルは、同じ入力で矛盾する予測を行うような、テクティファインチューニングの多重性につながる可能性がある。 これにより、Tabular LLMの堅牢性と信頼性に関する重要な懸念が持ち上がる。 本研究は,コストのかかるモデル再訓練を伴わずに個々の予測の堅牢性を定量化する新しい指標を提案する。
  論文  参考訳（メタデータ） (2024-07-04T22:22:09Z)
• Awareness of uncertainty in classification using a multivariate model and multi-views [1.3048920509133808]
  提案モデルでは,不確かさ予測を正規化し,予測と不確かさ推定の両方を計算する訓練を行う。 複数ビュー予測と不確かさと信頼度を考慮し、最終的な予測を計算する方法をいくつか提案した。 提案手法はクリーンでノイズの多いラベル付きCIFAR-10データセットを用いて検証した。
  論文  参考訳（メタデータ） (2024-04-16T06:40:51Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Calibration of Natural Language Understanding Models with Venn--ABERS Predictors [0.0]
  トランスフォーマーは、校正されていない予測や極端な確率を生成する傾向がある。 我々は、事前学習した変換器の選択に基づいて、いくつかの誘導型Venn--ABERS予測器(IVAP)を構築した。
  論文  参考訳（メタデータ） (2022-05-21T13:09:01Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。