論文の概要: Accuracy and Consistency of LLMs in the Registered Dietitian Exam: The Impact of Prompt Engineering and Knowledge Retrieval

• arxiv url: http://arxiv.org/abs/2408.02964v2
• Date: Wed, 7 Aug 2024 18:50:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 12:41:05.293531
• Title: Accuracy and Consistency of LLMs in the Registered Dietitian Exam: The Impact of Prompt Engineering and Knowledge Retrieval
• Title（参考訳）: 登録栄養士試験におけるLDMの精度と一貫性:プロンプト工学と知識検索の影響
• Authors: Iman Azimi, Mohan Qi, Li Wang, Amir M. Rahmani, Youlin Li,
• Abstract要約: 大規模言語モデル(LLMs)は、健康と幸福な領域において、人間の直面するアプリケーションを変革している。 我々は,登録栄養士試験(RD)を用いて,最先端のLDM,GPT-4o,Claude 3.5 Sonnet,Gemini 1.5 Proを評価した。 我々は,Zero-Shot (ZS), Chain of Thought (CoT), Chain of Thought with Self Consistency (CoT-SC), Retrieval Augmented Prompting (RAP) が応答の正確性と一貫性に与える影響を検討した。
• 参考スコア（独自算出の注目度）: 4.058915438449238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are fundamentally transforming human-facing applications in the health and well-being domains: boosting patient engagement, accelerating clinical decision-making, and facilitating medical education. Although state-of-the-art LLMs have shown superior performance in several conversational applications, evaluations within nutrition and diet applications are still insufficient. In this paper, we propose to employ the Registered Dietitian (RD) exam to conduct a standard and comprehensive evaluation of state-of-the-art LLMs, GPT-4o, Claude 3.5 Sonnet, and Gemini 1.5 Pro, assessing both accuracy and consistency in nutrition queries. Our evaluation includes 1050 RD exam questions encompassing several nutrition topics and proficiency levels. In addition, for the first time, we examine the impact of Zero-Shot (ZS), Chain of Thought (CoT), Chain of Thought with Self Consistency (CoT-SC), and Retrieval Augmented Prompting (RAP) on both accuracy and consistency of the responses. Our findings revealed that while these LLMs obtained acceptable overall performance, their results varied considerably with different prompts and question domains. GPT-4o with CoT-SC prompting outperformed the other approaches, whereas Gemini 1.5 Pro with ZS recorded the highest consistency. For GPT-4o and Claude 3.5, CoT improved the accuracy, and CoT-SC improved both accuracy and consistency. RAP was particularly effective for GPT-4o to answer Expert level questions. Consequently, choosing the appropriate LLM and prompting technique, tailored to the proficiency level and specific domain, can mitigate errors and potential risks in diet and nutrition chatbots.
• Abstract（参考訳）: 大規模言語モデル(LLMs)は、患者のエンゲージメントの向上、臨床的意思決定の促進、医療教育の促進など、健康と幸福な領域における人間の直面する応用を根本的に変えつつある。 現状のLSMはいくつかの会話的応用において優れた性能を示したが、栄養学や食事学における評価はいまだに不十分である。 本稿では,栄養クエリの精度と整合性を評価するため,登録栄養士試験(RD)を用いて,最先端LCM,GPT-4o,Claude 3.5 Sonnet,Gemini 1.5 Proの標準的かつ包括的な評価を行う。 評価対象は,栄養問題と熟練度を含む1050のRD試験質問項目を含む。 また,ゼロショット (ZS) , 思考の連鎖 (CoT) , 自己一貫性の連鎖 (CoT-SC) , 思考の連鎖 (RAP) が応答の正確性と整合性に与える影響を初めて検討した。 以上の結果から,これらのLSMは総合的な性能は許容できるものの,異なるプロンプトや問合せ領域とは大きく異なることが明らかとなった。 GPT-4oとCoT-SCは他の手法よりも優れており、Gemini 1.5 ProとZSは高い一貫性を示した。 GPT-4oとClaude 3.5では、CoTは精度を向上し、CoT-SCは精度と一貫性の両方を改善した。 RAP は GPT-4o がエキスパートレベルの質問に答えるのに特に有効であった。 したがって、習熟度や特定のドメインに合わせて適切なLLMとプロンプト技術を選択することで、食事や栄養チャットボットのエラーや潜在的なリスクを軽減することができる。

関連論文リスト

• Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
  本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。 また,信頼度の高い自己補正(textbfConFix$)も開発した。
  論文  参考訳（メタデータ） (2024-11-20T14:15:18Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)
• Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
  本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。 本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。 鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T07:49:13Z)
• TCMBench: A Comprehensive Benchmark for Evaluating Large Language Models in Traditional Chinese Medicine [19.680694337954133]
  大規模言語モデル(LLM)の専門的評価ベンチマークは、伝統的な中国医学(TCM)領域ではまだカバーされていない。 そこで本研究では,TCMにおけるLLM性能を評価するための総合的なベンチマークであるTCM-Benchを紹介する。 TCM-EDデータセットは、TCM Licensing Exam (TCMLE)から得られた5,473の質問から成り、権威分析を伴う1,300の質問を含む。 質問応答の精度を超えてLLMを評価するために,TCM関連質問に対してLLMが生成する回答の質を評価するための指標であるTCMScoreを提案する。
  論文  参考訳（メタデータ） (2024-06-03T09:11:13Z)
• Evaluating the Application of ChatGPT in Outpatient Triage Guidance: A Comparative Study [11.37622565068147]
  医療における人工知能の統合は、運用効率と健康結果を高めるための変革的な可能性を示している。 ChatGPTのような大規模言語モデル(LLM)は、医療的意思決定をサポートする能力を示している。 本研究の目的は,ChatGPTが提示する応答の整合性を評価することである。
  論文  参考訳（メタデータ） (2024-04-27T04:12:02Z)
• Fact-and-Reflection (FaR) Improves Confidence Calibration of Large Language Models [84.94220787791389]
  ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。 実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。 FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
  論文  参考訳（メタデータ） (2024-02-27T01:37:23Z)
• Evaluation of General Large Language Models in Contextually Assessing Semantic Concepts Extracted from Adult Critical Care Electronic Health Record Notes [17.648021186810663]
  本研究の目的は,大規模言語モデル(LLM)の実際の臨床ノートの理解と処理における性能を評価することである。 GPTファミリーモデルは、コスト効率と時間節約能力によって証明された、かなりの効率性を示している。
  論文  参考訳（メタデータ） (2024-01-24T16:52:37Z)
• Quality of Answers of Generative Large Language Models vs Peer Patients for Interpreting Lab Test Results for Lay Patients: Evaluation Study [5.823006266363981]
  大規模言語モデル(LLM)は、患者が質問に答えられるための有望な道を開いた。 GPT-4, Meta LLaMA 2, MedAlpaca, ORCA_miniの4つのLSMから53問の回答を得た。 GPT-4の反応はより正確で、有用で、関連性があり、安全である。
  論文  参考訳（メタデータ） (2024-01-23T22:03:51Z)
• Large Language Models in Medical Term Classification and Unexpected Misalignment Between Response and Reasoning [28.355000184014084]
  本研究は, 軽度認知障害 (MCI) 患者を退院サマリーから識別する, 最先端の大規模言語モデル (LLMs) の有効性を評価するものである。 データは、モデルの微調整と評価のために、トレーニング、検証、テストセットに7:2:1の比率で分割された。 FalconやLLaMA 2のようなオープンソースのモデルは高い精度を達成したが、説明的推論に欠けていた。
  論文  参考訳（メタデータ） (2023-12-19T17:36:48Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)
• Optimizing Two-way Partial AUC with an End-to-end Framework [154.47590401735323]
  ROC曲線のエリア(AUC)は、機械学習にとって重要な指標である。 最近の研究は、TPAUCが既存のPartial AUCメトリクスと本質的に矛盾していることを示している。 本論文では,この新指標を最適化するための最初の試行について述べる。
  論文  参考訳（メタデータ） (2022-06-23T12:21:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。