論文の概要: DocTalk: Enhancing Medical Knowledge Retrieval via Fine-tuned Large Language Models with Chain-of-Thought Reasoning for Robust Clinical Decision Support
- arxiv url: http://arxiv.org/abs/2610.34871v1
- Date: Mon, 26 Oct 2026 05:35:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.764589
- Title: DocTalk: Enhancing Medical Knowledge Retrieval via Fine-tuned Large Language Models with Chain-of-Thought Reasoning for Robust Clinical Decision Support
- Title(参考訳): DocTalk:ロバストな臨床診断支援のためのチェーン・オブ・ソート推論を用いた微調整大言語モデルによる医学的知識検索の促進
- Abstract要約: 本研究では,医師支援型質問応答システムDocTalkを紹介する。
我々は500組のQAペアを生産する高忠実度データ生成パイプラインを開発した。
DocTalk-QAでは、命令チューニングは語彙的、意味的、臨床的忠実度の測定に一貫した改善をもたらした。
- 参考スコア(独自算出の注目度): 1.2132884030603328
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Objective: The rapid advancement of large language models (LLMs) in healthcare has opened new possibilities for AI-assisted clinical decision-making; however, safe and effective deployment remains challenging because of hallucination and domain misalignment. This study introduces DocTalk, a doctor-assistive question-answering (QA) system designed to generate concise, chart-grounded responses from de-identified discharge summaries. Methods: We developed a high-fidelity data generation pipeline that produces 500 clinically relevant QA pairs through sentence-level decomposition, chain-of-thought-guided question formulation, and expert review. Six open-source LLMs, including three general-purpose and three biomedical models, were evaluated before and after parameter-efficient instruction tuning using Low-Rank Adaptation (LoRA). The framework integrates prompt engineering, in-context learning, and medically aligned evaluation to support factual and interpretable responses. Results: On DocTalk-QA, instruction tuning produced consistent improvements across lexical, semantic, and clinical fidelity metrics. The best-performing tuned model, Llama-3-Med42-8B, achieved ROUGE-L = 0.40, BERTScore-F1 = 0.76, and UMLS-F1 = 0.49. To examine external generalization beyond the DocTalk-QA dataset, the two best-performing models, Llama-3.1-8B-Instruct and Llama-3-Med42-8B, were evaluated on PubMedQA before and after instruction tuning. Accuracy improved from 0.931 to 0.977 for Llama-3.1-8B-Instruct and from 0.935 to 0.943 for Llama-3-Med42-8B. Conclusion: DocTalk was deployed as a secure web-based platform for interactive EHR querying. These findings suggest that clinically grounded instruction tuning can improve medical QA performance and support practical clinical decision support.
- Abstract(参考訳): 目的: 医療における大規模言語モデル(LLM)の急速な進歩は、AIによる臨床意思決定に新たな可能性をもたらしたが、幻覚とドメインのミスアライメントのため、安全で効果的なデプロイメントは難しいままである。
本研究では,医師支援質問応答(QA)システムであるDocTalkを紹介した。
方法: 文章レベルでの分解, チェーン・オブ・オブ・シークレットによる質問文の定式化, 専門家によるレビューにより, 500の臨床的関連QAペアを生産する高忠実データ生成パイプラインを開発した。
ローランド適応 (LoRA) を用いたパラメータ効率訓練の前後で, 3つの汎用モデルと3つのバイオメディカルモデルを含む6つのオープンソースLCMを評価した。
このフレームワークは、迅速なエンジニアリング、コンテキスト内学習、および医学的に整合した評価を統合し、事実と解釈可能な応答をサポートする。
結果: DocTalk-QAでは, 語彙, 意味, 臨床的忠実度の測定値に一貫した改善が得られた。
Llama-3-Med42-8BはROUGE-L = 0.40、BERTScore-F1 = 0.76、UMLS-F1 = 0.49を達成している。
DocTalk-QAデータセットを超越した外部一般化を検討するために,2つの最高の性能モデルであるLlama-3.1-8B-InstructとLlama-3-Med42-8BをPubMedQAの前後で評価した。
精度はLlama-3.1-8Bの0.931から0.977、Llama-3-Med42-8Bの0.935から0.943に改善された。
結論:DocTalkはインタラクティブなEHRクエリのためのセキュアなWebベースプラットフォームとしてデプロイされました。
以上より,臨床ベースによる指導指導がQA改善と臨床診断支援に有効であることが示唆された。
関連論文リスト
- Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳(メタデータ) (2026-04-06T00:23:10Z) - MedArena: Comparing LLMs for Medicine-in-the-Wild Clinician Preferences [50.71326426975699]
MedArenaは医療用大規模言語モデル(LLM)のためのインタラクティブな評価プラットフォームである。
MedArenaは、2つのランダムに選択されたモデルからの応答を表示し、ユーザが好みのレスポンスを選択するように要求する。
2025年11月1日までに12台のLLMで収集された1571の選好のうち、ジェミニ2.0フラッシュシンキング、ジェミニ2.5プロ、GPT-4oがブラッドリー・テリーのレーティングで上位3モデルとなった。
論文 参考訳(メタデータ) (2026-03-13T22:30:26Z) - A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine [59.78991974851707]
大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。
ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。
本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-29T18:48:21Z) - Aligning Medical Conversational AI through Online Reinforcement Learning with Information-Theoretic Rewards [25.802538135442166]
IGFT(Information Gain Fine-Tuning)は、医療会話型AIを訓練し、効果的な患者インタビューを行うための新しいアプローチである。
LoRA: Llama-3.1-8B-Instruct と DeepSeek-R1-Distill-Qwen-7B の2つのモデルを微調整する。
論文 参考訳(メタデータ) (2026-01-25T13:19:16Z) - Patient-Centered Summarization Framework for AI Clinical Summarization: A Mixed-Methods Design [23.21070690395588]
患者中心サマリ(PCS)における人工知能(AI)臨床要約タスクの新しい標準を提案する。
本研究の目的は,患者価値を捉え,臨床的有用性を確保するためのPCS作成フレームワークを開発することである。
5つのオープンソース LLM がゼロショットプロンプトと少数ショットプロンプトを使用して72のコンサルテーションの要約を生成する。
論文 参考訳(メタデータ) (2025-10-31T15:08:18Z) - Triplet-Structured Knowledge Integration for Multi-Turn Medical Reasoning [21.44813166265882]
大規模言語モデル(LLM)は静的医療質問応答(QA)タスクにおいて高いパフォーマンスを示している。
本稿では,LLMの推論信頼性を高める三重構造アプローチであるTriMediQを紹介する。
2つのインタラクティブな医療QAベンチマークの実験によると、TriMediQは既存の5つのベースラインよりも最大10.4%精度が向上している。
論文 参考訳(メタデータ) (2025-10-03T22:11:17Z) - Preserving Privacy, Increasing Accessibility, and Reducing Cost: An On-Device Artificial Intelligence Model for Medical Transcription and Note Generation [0.0]
Llama 3.2 1Bモデルを用いて,プライバシ保護・オンデバイス医療転写システムの開発と評価を行った。
このモデルは、完全にブラウザ内で完全なデータ主権を維持しながら、医療転写から構造化された医療メモを生成することができる。
論文 参考訳(メタデータ) (2025-07-03T01:51:49Z) - Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。
本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。
このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
論文 参考訳(メタデータ) (2025-03-06T18:35:39Z) - Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。
本稿では,構造化医療推論を利用した新しいアプローチを提案する。
我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
論文 参考訳(メタデータ) (2025-03-05T05:24:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。