Fugu-MT 論文翻訳(概要): Self-Reported Confidence of Large Language Models in Gastroenterology: Analysis of Commercial, Open-Source, and Quantized Models

論文の概要: Self-Reported Confidence of Large Language Models in Gastroenterology: Analysis of Commercial, Open-Source, and Quantized Models

arxiv url: http://arxiv.org/abs/2503.18562v1
Date: Mon, 24 Mar 2025 11:16:41 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-25 14:39:54.579486
Title: Self-Reported Confidence of Large Language Models in Gastroenterology: Analysis of Commercial, Open-Source, and Quantized Models
Title（参考訳）: 胃腸科における大規模言語モデルの自己報告信頼:商用・オープンソース・量子化モデルの解析
Authors: Nariman Naderi, Seyed Amir Ahmad Safavi-Naini, Thomas Savage, Zahra Atf, Peter Lewis, Girish Nadkarni, Ali Soroush,
Abstract要約: 最高性能のモデル(GPT-o1プレビュー、GPT-4o、Claude-3.5-Sonnet)はBrierスコアが0.15-0.2、AUROCが0.6だった。新しいモデルでは性能が向上したが、すべては自信過剰な傾向を示した。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: This study evaluated self-reported response certainty across several large language models (GPT, Claude, Llama, Phi, Mistral, Gemini, Gemma, and Qwen) using 300 gastroenterology board-style questions. The highest-performing models (GPT-o1 preview, GPT-4o, and Claude-3.5-Sonnet) achieved Brier scores of 0.15-0.2 and AUROC of 0.6. Although newer models demonstrated improved performance, all exhibited a consistent tendency towards overconfidence. Uncertainty estimation presents a significant challenge to the safe use of LLMs in healthcare. Keywords: Large Language Models; Confidence Elicitation; Artificial Intelligence; Gastroenterology; Uncertainty Quantification
Abstract（参考訳）: 本研究は,300の胃腸科学的質問紙を用いた大規模言語モデル(GPT, Claude, Llama, Phi, Mistral, Gemini, Gemma, Qwen)における自己申告応答の確実性を評価した。最高性能のモデル(GPT-o1プレビュー、GPT-4o、Claude-3.5-Sonnet)はBrierスコアが0.15-0.2、AUROCが0.6だった。新しいモデルでは性能が向上したが、すべては自信過剰な傾向を示した。不確実性推定は、医療におけるLLMの安全な使用に重大な課題をもたらす。キーワード:大規模言語モデル、信頼の緩和、人工知能、胃腸科学、不確かさの定量化

関連論文リスト

Agent-Based Uncertainty Awareness Improves Automated Radiology Report Labeling with an Open-Source Large Language Model [1.7064514726335305]
クローン病患者のヘブライ語9,683例について検討した。我々は不確実性を認識したプロンプトアンサンブルとエージェントに基づく決定モデルを導入した。
論文参考訳（メタデータ） (2025-02-02T16:57:03Z)
Enhancing Answer Reliability Through Inter-Model Consensus of Large Language Models [1.6874375111244329]
本稿では,複数の大規模言語モデルが複雑なPhDレベルの統計的質問を生成・回答する協調フレームワークを提案する。本研究は,モデル間のコンセンサスにより応答信頼性が向上し,生成した質問の質が向上することを示す。
論文参考訳（メタデータ） (2024-11-25T10:18:17Z)
Vision-Language and Large Language Model Performance in Gastroenterology: GPT, Claude, Llama, Phi, Mistral, Gemma, and Quantized Models [0.06555599394344236]
本研究では,大言語モデル (LLMs) と視覚言語モデル (VLMs) の胃腸科学における医学的推論性能を評価する。我々は,300の胃腸科検査式多票質問紙を使用し,そのうち138は画像を含んでいた。
論文参考訳（メタデータ） (2024-08-25T14:50:47Z)
Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
論文参考訳（メタデータ） (2024-07-11T16:51:33Z)
Calibrating the Confidence of Large Language Models by Eliciting Fidelity [52.47397325111864]
RLHFのようなテクニックで最適化された大規模な言語モデルは、有用で無害な点において優れた整合性を実現している。調整後、これらの言語モデルはしばしば過剰な自信を示し、表現された自信は正確さの度合いで正確に校正しない。本稿では,言語モデルの信頼度を推定するプラグイン・アンド・プレイ手法を提案する。
論文参考訳（メタデータ） (2024-04-03T11:36:12Z)
Methods to Estimate Large Language Model Confidence [2.4797200957733576]
本研究は, 難治性ヴィグネットの診断法を提案する際に, 大規模言語モデルの信頼性を評価する方法を評価するものである。 SC一致頻度は、特に診断において、モデル信頼性の最も有用な指標である。
論文参考訳（メタデータ） (2023-11-28T05:44:06Z)
Llamas Know What GPTs Don't Show: Surrogate Models for Confidence Estimation [70.27452774899189]
大規模言語モデル(LLM)は、ユーザを誤解させるのではなく、不正な例に対して低い信頼を示さなければならない。 2023年11月現在、最先端のLLMはこれらの確率へのアクセスを提供していない。言語的信頼度と代理モデル確率を構成する最良の方法は、12データセットすべてに対して最先端の信頼度推定を与える。
論文参考訳（メタデータ） (2023-11-15T11:27:44Z)
Evaluating Psychological Safety of Large Language Models [72.88260608425949]
我々は,大規模言語モデル(LLM)の心理的安全性を評価するために,バイアスのないプロンプトを設計した。短い暗黒トライアド(SD-3)とビッグファイブインベントリ(BFI)の2つのパーソナリティテストを用いて5種類のLDMを試験した。毒性を減らすための安全基準を微調整したものの、InstructGPT, GPT-3.5, GPT-4は依然として暗い性格パターンを示した。直接選好最適化を用いたBFIからの反応を微調整したLlama-2-chat-7Bは、モデルの心理的毒性を効果的に低減する。
論文参考訳（メタデータ） (2022-12-20T18:45:07Z)
Prompting GPT-3 To Be Reliable [117.23966502293796]
この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。 GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
論文参考訳（メタデータ） (2022-10-17T14:52:39Z)
UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced Data [81.00385374948125]
我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。 UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。 UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
論文参考訳（メタデータ） (2020-10-22T02:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。