Fugu-MT 論文翻訳(概要): Enhancing Healthcare LLM Trust with Atypical Presentations Recalibration

論文の概要: Enhancing Healthcare LLM Trust with Atypical Presentations Recalibration

arxiv url: http://arxiv.org/abs/2409.03225v1
Date: Thu, 5 Sep 2024 03:45:35 GMT
ステータス: 処理完了
システム内更新日: 2024-09-06 21:57:04.958387
Title: Enhancing Healthcare LLM Trust with Atypical Presentations Recalibration
Title（参考訳）: 非定型的プレゼンテーションリカレーションによる医療LLMトラストの強化
Authors: Jeremy Qin, Bang Liu, Quoc Dinh Nguyen,
Abstract要約: ブラックボックスの大規模言語モデル(LLM)は、様々な環境に徐々に展開されている。 LLMは、しばしば過剰な自信を示し、潜在的なリスクや誤った判断につながる。本稿では,非定型的なプレゼンテーションを利用してモデルの信頼度を推定する新しい手法であるtextitAtypical presentations Recalibrationを提案する。
参考スコア（独自算出の注目度）: 20.049443396032423
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Black-box large language models (LLMs) are increasingly deployed in various environments, making it essential for these models to effectively convey their confidence and uncertainty, especially in high-stakes settings. However, these models often exhibit overconfidence, leading to potential risks and misjudgments. Existing techniques for eliciting and calibrating LLM confidence have primarily focused on general reasoning datasets, yielding only modest improvements. Accurate calibration is crucial for informed decision-making and preventing adverse outcomes but remains challenging due to the complexity and variability of tasks these models perform. In this work, we investigate the miscalibration behavior of black-box LLMs within the healthcare setting. We propose a novel method, \textit{Atypical Presentations Recalibration}, which leverages atypical presentations to adjust the model's confidence estimates. Our approach significantly improves calibration, reducing calibration errors by approximately 60\% on three medical question answering datasets and outperforming existing methods such as vanilla verbalized confidence, CoT verbalized confidence and others. Additionally, we provide an in-depth analysis of the role of atypicality within the recalibration framework.
Abstract（参考訳）: ブラックボックスの大規模言語モデル(LLM)は、様々な環境に展開されることが多く、特に高い状況において、これらのモデルが信頼性と不確実性を効果的に伝達することが不可欠である。しかし、これらのモデルはしばしば過度に自信を示し、潜在的なリスクや誤った判断につながる。 LLMの信頼性を引き出して校正するための既存の技術は、一般的な推論データセットに重点を置いており、緩やかな改善しか得られていない。正確なキャリブレーションは、情報的な意思決定と有害な結果の防止に不可欠であるが、これらのモデルが実行するタスクの複雑さと変動性のため、依然として困難である。本研究では,医療環境におけるブラックボックスLSMの誤校正行動について検討する。本稿では,非定型プレゼンテーションを利用してモデルの信頼度を推定する新しい手法である「textit{Atypical Presentations Recalibration」を提案する。提案手法はキャリブレーションを著しく改善し,3つの医療質問応答データセットのキャリブレーション誤差を約60 %削減し,バニラ言語的信頼度やCoT言語的信頼度などの既存手法よりも優れている。さらに、再校正フレームワークにおける非定型性の役割を詳細に分析する。

関連論文リスト

Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。また,信頼度の高い自己補正(textbfConFix$)も開発した。
論文参考訳（メタデータ） (2024-11-20T14:15:18Z)
On Calibration of LLM-based Guard Models for Reliable Content Moderation [27.611237252584402]
大規模言語モデル(LLM)は、有害なコンテンツを生成する可能性や、ガードレールを避けようとするユーザによって、重大なリスクを負う。既存の研究では、脅威LSMの入力と出力を適度にするためのLLMベースのガードモデルが開発されている。しかし、これらのガードモデルの信頼性と校正には限定的な注意が払われている。
論文参考訳（メタデータ） (2024-10-14T12:04:06Z)
Confidence Estimation for LLM-Based Dialogue State Tracking [9.305763502526833]
大規模言語モデル(LLM)に基づく会話型AIシステムでは,モデルの出力に対する信頼度の推定が重要である。オープン・アンド・クローズド・ウェイト LLM に提案するアプローチを含む,手法の徹底的な探索を行う。以上の結果から, 微調整式オープンウェイトLLMはAUC性能が向上し, 信頼性スコアの校正精度が向上することが示唆された。
論文参考訳（メタデータ） (2024-09-15T06:44:26Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
Confidence Calibration and Rationalization for LLMs via Multi-Agent Deliberation [18.815226646364476]
大規模言語モデル(LLM)の既存のキャリブレーション手法は、「集団知恵」を最大限に活用することなく、個人の信頼度を推定または引き出すことに重点を置いている。我々は,複数ツール強化LDMエージェントの協調的・表現的能力を活用した,ポストホックトレーニングフリーキャリブレーション戦略であるCollaborativeを提案する。
論文参考訳（メタデータ） (2024-04-14T02:40:43Z)
Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文参考訳（メタデータ） (2024-02-21T16:15:20Z)
A Study on the Calibration of In-context Learning [27.533223818505682]
In-context Learning (ICL) は静的言語モデルに適切なプロンプトで適応するための一般的な手法である。また,ICL例の増加に伴い,モデルの誤校正が向上し,キャリブレーションの精度が向上することが確認された。再校正手法について検討し,スケーリング結合キャリブレータが一貫した校正誤差を低減できることを見出した。
論文参考訳（メタデータ） (2023-12-07T03:37:39Z)
On the Calibration of Large Language Models and Alignment [63.605099174744865]
信頼性キャリブレーションは、ディープモデルの信頼性を高める重要なツールである。構築プロセス全体を通して、アライメント言語モデルの校正を体系的に検討する。我々の研究は、人気のあるLCMが十分に校正されているか、トレーニングプロセスがモデルの校正にどのように影響するかに光を当てています。
論文参考訳（メタデータ） (2023-11-22T08:57:55Z)
Calibrating Multimodal Learning [94.65232214643436]
本稿では,従来の手法の予測信頼性を校正するために,新たな正規化手法であるCML(Callibrating Multimodal Learning)正則化を提案する。この技術は、既存のモデルによって柔軟に装備され、信頼性校正、分類精度、モデルロバスト性の観点から性能を向上させることができる。
論文参考訳（メタデータ） (2023-06-02T04:29:57Z)
Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文参考訳（メタデータ） (2023-03-19T20:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。