論文の概要: Evaluating Fine-Tuned and Base Language Models in Maternal and Vaccination Healthcare for African Settings

• arxiv url: http://arxiv.org/abs/2609.22110v1
• Date: Mon, 17 Aug 2026 16:11:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.714445
• Title: Evaluating Fine-Tuned and Base Language Models in Maternal and Vaccination Healthcare for African Settings
• Title（参考訳）: アフリカにおける母と接種医療における微調整・基礎言語モデルの評価
• Abstract要約: 大規模言語モデル(LLM)は、低リソース環境での医療情報提供を改善することができる。 本研究はナイジェリアにおける母体保健と予防接種のためのドメイン固有の微調整について検討した。
• 参考スコア（独自算出の注目度）: 0.5352410411746104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: Large language models (LLMs) can improve healthcare information delivery in low-resource settings but may produce inaccurate or culturally inappropriate advice. This study evaluated domain-specific fine-tuning for maternal health and vaccination in Nigeria. Objective: To compare HelpMum's MamaBot-Llama and Vax-Llama with Meta's Llama-3.1-8B-Instruct for accuracy, safety, clarity, contextual appropriateness, and trustworthiness. Methods: We evaluated 200 healthcare questions, 100 each for maternal health and vaccination, across five subdomains per domain. MamaBot-Llama and Vax-Llama were fine-tuned using Low-Rank Adaptation on over 36,000 maternal health and 9,000 vaccination question-answer pairs, respectively. Two Nigerian licensed physicians independently rated responses using a 5-point Likert scale. Paired comparisons used Wilcoxon signed-rank tests. Results: Performance varied by domain. MamaBot-Llama significantly outperformed the base model across all criteria, with a 4.9% overall improvement (p < .001), including gains in clinical trustworthiness (+7%) and medical accuracy (+5%). Critical issues decreased by 50%, and clinicians preferred it in 78% of cases. In contrast, Vax-Llama showed a 5.2% overall decline (p < .001), with critical issues increasing by 192% and safety concerns by 400%. Conclusions: Domain-specific fine-tuning can improve healthcare LLM performance when based on high-quality, clinician-curated data, but may also degrade performance when dataset quality is inadequate. Rigorous domain-specific validation is essential before clinical deployment. Physician evaluators provided informed consent, and chatbot logs were anonymized. Keywords: Large language models; Fine-tuning; Maternal health; Vaccination; Healthcare AI; Low-resource settings; Nigeria; Model evaluation; LoRA; Medical accuracy
• Abstract（参考訳）: 背景: 大規模言語モデル(LLM)は、低リソース環境での医療情報提供を改善することができるが、不正確または文化的に不適切なアドバイスをもたらす可能性がある。 本研究はナイジェリアにおける母体保健と予防接種のためのドメイン固有の微調整について検討した。 目的:HelpMumのMamaBot-LlamaとVax-LlamaをMetaのLlama-3.1-8B-Instruct to accuracy, safety, clarity, contextual appropriateness, and trustworthinessと比較する。 方法:1ドメインあたり5つのサブドメインにまたがって200の医療質問、100の母体保健と予防接種を行った。 MamaBot-Llama と Vax-Llama はそれぞれ 36,000 以上の母体健康度と 9,000 のワクチン接種質問応答対を低ランク適応を用いて微調整した。 ナイジェリアの2人の医師は、5ポイントのQuatスケールを使用して独自に回答を評価した。 Paired comparisons using Wilcoxon signed-rank tests。 結果: パフォーマンスはドメインによって異なる。 MamaBot-Llamaは、すべての基準でベースモデルよりも優れ、総合的な改善(p < .001)は4.9%で、臨床信頼性(+7%)と医療精度(+5%)が向上した。 致命的な問題は50%減少し、臨床医は78%の症例でそれを好んだ。 対照的に、Vax-Llamaの全体的な減少率は5.2%(p < .001)で、重大な問題は192%増加し、安全上の懸念は400%増加した。 結論: ドメイン固有の微調整は、高品質のクリニカルキュレートデータに基づく場合、医療LSMのパフォーマンスを向上させることができるが、データセットの品質が不十分な場合には、パフォーマンスも低下する可能性がある。 臨床展開の前には、厳密なドメイン固有の検証が不可欠である。 医師評価官は情報的な同意を与え、チャットボットログは匿名化された。 キーワード:大規模言語モデル、微調整、母体健康、ワクチン、医療AI、低リソース設定、ナイジェリア、モデル評価、LoRA、医療精度

関連論文リスト

• Japanese Stroke LLM Evaluation: A Conversational Benchmark for Safe Stroke Care in Japanese Using Large Language Models [0.0]
  大規模言語モデル (LLM) は, 複数項目の医療知識試験において, 医師に比較可能な性能を達成している。 マルチターン日本語会話において,脳卒中と関連条件を10例作成し,LLMを評価した。 クロード・ファイブ5は最高スコア(87.4%)を達成し、致命的なミスはゼロだった。
  論文  参考訳（メタデータ） (2026-09-15T07:13:49Z)
• Measuring Epistemic Resilience of LLMs Under Misleading Medical Context [47.20527783144983]
  大規模言語モデル(LLMs)は、医療ライセンス試験のエキスパートレベルスコアに到達した。 誤解を招く文脈が LLM が元来正しく答える質問に注入されると、彼らは正しい答えを放棄する。 本研究は, 逆行性てんかんのレジリエンス下での正しい判断を維持できる能力と, 測定にMedMisBenchを導入している。
  論文  参考訳（メタデータ） (2026-06-10T16:27:26Z)
• IyàwóBench: A Benchmark for Evaluating Large Language Model Clinical Triage Accuracy on Undifferentiated Febrile Illness in Nigerian Primary Health Settings [0.0]
  ナイジェリアでは、未分化の胎児病がプライマリケアの外来訪問の主な原因となっている。 大規模言語モデル(LLM)の臨床トリアージ推論を評価するための検証済みのベンチマークは存在しない。 IywBench v1.0は8つの女性病カテゴリにまたがる200種類の合成臨床ヴィニネットのデータセットである。
  論文  参考訳（メタデータ） (2026-05-22T10:25:51Z)
• PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
  大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。 我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。 LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
  論文  参考訳（メタデータ） (2026-03-02T00:50:39Z)
• When Metrics Disagree: Automatic Similarity vs. LLM-as-a-Judge for Clinical Dialogue Evaluation [18.338933046286257]
  大きな言語モデル(LLM)は、医学的なクエリを含む様々な問題に対処するために、ますます採用されている。 LLMは医学的文脈では性能が悪く、ユーザにとって有害な誤認につながる可能性がある。 本稿では,実際の患者-医師間相互作用の転写を用いたトランスフォーマーベースデコーダモデルであるLlama 2 7Bの微調整に焦点を当てた。
  論文  参考訳（メタデータ） (2026-02-27T21:09:43Z)
• EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
  医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。 ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。 医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
  論文  参考訳（メタデータ） (2025-09-24T14:09:55Z)
• LEME: Open Large Language Models for Ophthalmology with Advanced Reasoning and Clinical Validation [29.913581347375256]
  大規模言語モデル(LLM)は、ドキュメントの作業量を削減し、臨床的な意思決定をサポートする、有望なパスを提供する。 本稿では,2段階プロセスで開発したオープンウェイトLLMのスイートであるLEMEについて述べる。 LEMEは、患者QA、相談、治療計画などのタスクにまたがる5つのゼロショットベンチマークで評価された。
  論文  参考訳（メタデータ） (2024-10-01T02:43:54Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• Doctors vs. Nurses: Understanding the Great Divide in Vaccine Hesitancy among Healthcare Workers [64.1526243118151]
  医者は新型コロナウイルスワクチンに対して全体的に陽性であることがわかりました。 医師は新型ワクチンよりもワクチンの有効性を懸念している。 看護婦は子供に対する潜在的な副作用にもっと注意を払う。
  論文  参考訳（メタデータ） (2022-09-11T14:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。