論文の概要: Performance of a domain-specific large language model in answering patient questions in psychiatry
- arxiv url: http://arxiv.org/abs/2608.22797v1
- Date: Mon, 24 Aug 2026 04:41:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.887213
- Title: Performance of a domain-specific large language model in answering patient questions in psychiatry
- Title（参考訳）: 精神医学における患者質問への回答におけるドメイン固有大言語モデルの性能
- Abstract要約: 本研究は、患者教育資源に専門的に訓練されたドメイン固有大言語モデル(LLM)が、精神医学薬に関する疑問に答えられるかどうかを評価するために設計された。
MIND,ChatGPT,OpenEvidenceの反応を,escitalopramに関する患者質問と比較した。
MINDはエシタロプラムに関する多くの質問に答えることができた。
- 参考スコア（独自算出の注目度）: 41.99844472131922
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Background This study was designed to evaluate whether a domain-specific large language model (LLM) trained exclusively on patient education resources can answer questions about psychiatric medications, in a manner superior to LLM chatbots. We developed an LLM ("MIND") fine-tuned for clinical fidelity, trained on patient education resources from authoritative medical organizations. Methods We compared the responses of MIND, ChatGPT, and OpenEvidence to patient questions about escitalopram, using two methods: (1) computer analysis according to a rubric measuring accuracy, clarity, completeness, nuance, safety, and referral appropriateness; (2) ratings from N=10 board-licensed psychiatrists on similar metrics. Results When rated by rubric, MIND was rated highest in all domains (p<0.001). When rated by psychiatrists, ChatGPT was rated accurate more often than MIND with a negligible effect size (p=0.021, r=0.073); MIND was rated complete more often than ChatGPT with a small effect size (p<0.001, r=0.160); and MIND and ChatGPT were rated safe with the same frequency (p=0.955, r=0.002). The majority of psychiatrists preferred the responses generated by ChatGPT (57.6%) compared to MIND (42.4%, p=0.003). Conclusions MIND was able to answer many questions about escitalopram in a manner deemed accurate, complete, and safe by psychiatrists the majority of the time. However, despite MIND's ability to provide more complete responses, psychiatrists preferred ChatGPT's responses. MIND represents a step towards building safe LLM systems to enhance patient education in psychiatry.
- Abstract（参考訳）: 背景 この研究は、LLMチャットボットよりも優れた方法で、患者教育資源に特化して訓練されたドメイン固有大規模言語モデル(LLM)が、精神医学薬に関する質問に答えられるかどうかを評価するために設計された。
我々は,権威ある医療機関から患者教育資源を訓練した臨床忠実度を微調整したLDM(MIND)を開発した。
方法 MIND, ChatGPT, OpenEvidence の反応を,(1) 筆記法によるコンピュータ解析, 明瞭度, 完全性, ニュアンス, 安全性, 基準適合性, (2) N=10 ボードライセンス精神科医による同様の指標による評価の2つの方法を用いて, エスシタロプラムに関する患者の質問に対して比較した。
結果: ルブリックによる評価では, MINDは全ドメインで最高 (p<0.001。
精神科医による評価では、ChatGPTは無視可能な効果サイズ(p=0.021, r=0.073), MINDは小さな効果サイズ(p<0.001, r=0.160), MINDとChatGPTは同じ周波数で安全性(p=0.955, r=0.002)を評価された。
精神科医の大多数は、MIND (42.4%、p=0.003) と比較してChatGPT (57.6%) の反応を好んだ。
結論 MIND はエスシタロプラムに関する多くの質問に答えることができた。
しかし、MINDはより完全な応答を提供する能力を持っていたにもかかわらず、精神科医はChatGPTの反応を好んだ。
MINDは、精神医学における患者教育を強化するための安全なLLMシステムを構築するためのステップである。
関連論文リスト
- Human-LLM Dialogue Improves Diagnostic Accuracy in Emergency Care [17.055142604871506]
MedSynは、医師が全ての臨床記録を提供するLCMに問い合わせると同時に、最初は主訴のみを見ることができる。
ブラインド評価では、住民のハードケースの正しさは0.589から0.734に上昇した。
住民は最大のF1ゲイン(=0.138; p 0.0001)を示した。
論文 参考訳（メタデータ） (2026-05-08T22:40:10Z) - MedArena: Comparing LLMs for Medicine-in-the-Wild Clinician Preferences [50.71326426975699]
MedArenaは医療用大規模言語モデル(LLM)のためのインタラクティブな評価プラットフォームである。
MedArenaは、2つのランダムに選択されたモデルからの応答を表示し、ユーザが好みのレスポンスを選択するように要求する。
2025年11月1日までに12台のLLMで収集された1571の選好のうち、ジェミニ2.0フラッシュシンキング、ジェミニ2.5プロ、GPT-4oがブラッドリー・テリーのレーティングで上位3モデルとなった。
論文 参考訳（メタデータ） (2026-03-13T22:30:26Z) - VERA-MH: Reliability and Validity of an Open-Source AI Safety Evaluation in Mental Health [0.0]
メンタルヘルス(VERA-MH)評価における倫理的で責任のあるAIの検証は、エビデンスベースの自動安全ベンチマークの緊急の必要性を満たすために最近提案された。
本研究は,自殺リスク検出および応答におけるAI安全性評価のためのVERA-MHの臨床的妥当性と信頼性を検討することを目的とした。
論文 参考訳（メタデータ） (2026-02-04T22:17:04Z) - MedPI: Evaluating AI Systems in Medical Patient-facing Interactions [0.0]
患者・クリニック会話における大規模言語モデル(LLM)の評価のための高次元ベンチマークであるMedPIを提案する。
MedPIは、医療プロセス、治療安全性、治療結果、医師と患者とのコミュニケーションを含む105次元の医療対話を評価する。
我々は、Claude Opus 4.1, Claude Sonnet 4, MedGemma, Gemini 2.5 Pro, Llama 3.3 70b Instruct, GPT-5, GPT OSS 120b, o3, Grok-4という9つのフラッグシップモデルを、366人のAI患者と7,097人の会話で評価した。
論文 参考訳（メタデータ） (2025-12-02T19:10:06Z) - DispatchMAS: Fusing taxonomy and artificial intelligence agents for emergency medical services [49.70819009392778]
大規模言語モデル (LLM) とマルチエージェントシステム (MAS) は、ディスパッチを増強する機会を提供する。
本研究の目的は,現実的なシナリオをシミュレートする分類基盤型マルチエージェントシステムの開発と評価である。
論文 参考訳（メタデータ） (2025-10-24T08:01:21Z) - MAGI: Multi-Agent Guided Interview for Psychiatric Assessment [50.6150986786028]
我々は,ゴールドスタンダードのMini International Neuropsychiatric Interview(MINI)を自動計算ナビゲーションに変換する最初のフレームワークであるMAGIを紹介する。
臨床検査法, 会話適応性, 説明可能な推論を併用することにより, MAGI は LLM 支援型メンタルヘルスアセスメントを推し進めることを示す。
論文 参考訳（メタデータ） (2025-04-25T11:08:27Z) - LLM Questionnaire Completion for Automatic Psychiatric Assessment [49.1574468325115]
大規模言語モデル(LLM)を用いて、非構造的心理面接を、様々な精神科領域と人格領域にまたがる構造化された質問票に変換する。
得られた回答は、うつ病の標準化された精神医学的指標(PHQ-8)とPTSD(PCL-C)の予測に使用される特徴として符号化される。
論文 参考訳（メタデータ） (2024-06-09T09:03:11Z) - Can AI Relate: Testing Large Language Model Response for Mental Health Support [23.97212082563385]
大型言語モデル(LLM)はすでにニューヨーク・ラングーン、ダナ・ファーバー、NHSなどの病院システムで臨床使用のために試験されている。
精神医療の自動化に向けて, LLM 反応が有効かつ倫理的な道筋であるか否かを評価するための評価枠組みを開発する。
論文 参考訳（メタデータ） (2024-05-20T13:42:27Z) - Quality of Answers of Generative Large Language Models vs Peer Patients
for Interpreting Lab Test Results for Lay Patients: Evaluation Study [5.823006266363981]
大規模言語モデル(LLM)は、患者が質問に答えられるための有望な道を開いた。
GPT-4, Meta LLaMA 2, MedAlpaca, ORCA_miniの4つのLSMから53問の回答を得た。
GPT-4の反応はより正確で、有用で、関連性があり、安全である。
論文 参考訳（メタデータ） (2024-01-23T22:03:51Z) - Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。
本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-01T06:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。