論文の概要: Locally Deployable Small Language Models for Emergency Department Decision Support: A Systematic Benchmark of Fine-Tuning Strategies
- arxiv url: http://arxiv.org/abs/2608.10273v1
- Date: Mon, 10 Aug 2026 22:15:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.829848
- Title: Locally Deployable Small Language Models for Emergency Department Decision Support: A Systematic Benchmark of Fine-Tuning Strategies
- Title(参考訳): 救急部門決定支援のための局所展開可能な小言語モデル:微調整戦略の体系的ベンチマーク
- Abstract要約: ローカルにデプロイ可能なオープンソーススモールランゲージモデル(SLM)のための微調整戦略は、緊急部署にとって臨床的に競合する性能を達成することができる。
これらの結果から, ED意思決定支援において, 局所展開可能なSLMが臨床的に競合する性能を達成できることが示唆された。
- 参考スコア(独自算出の注目度): 5.760251413371908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deploying large language models (LLMs) for decision support in emergency departments (EDs) faces two major challenges: privacy risks of transmitting patient data to closed-source commercial LLMs and the lack of systematic evaluation of fine-tuning strategies for locally deployable open-source small language models (SLMs). We benchmarked eight open-source SLMs using zero-shot prompting, prefix tuning, Low-Rank Adaptation (LoRA), and full fine-tuning on three ED tasks: triage level prediction, specialist referral recommendation, and diagnosis prediction. Using 2,083 MIMIC-IV-ED cases and Claude Haiku 4.5 and Claude Sonnet 4.5 as baselines, we found that LoRA fine-tuned open-source SLMs outperform commercial baselines on triage level prediction and specialist referral recommendation, while diagnosis prediction remains challenging for open-source SLMs. Confusion matrix analysis further shows that fine-tuned open-source SLMs can detect highest-severity patients missed by the commercial baselines. These results demonstrate that locally deployable SLMs can achieve clinically competitive performance for ED decision support.
- Abstract(参考訳): 救急部門(ED)における意思決定支援のための大規模言語モデル(LLM)のデプロイは、患者のデータをクローズドソースの商用LCMに転送する際のプライバシーリスクと、ローカルにデプロイ可能なオープンソース小言語モデル(SLM)のための微調整戦略の体系的な評価の欠如の2つの大きな課題に直面している。
我々は、ゼロショットプロンプト、プレフィックスチューニング、ローランク適応(LoRA)、トリアージレベル予測、スペシャリストレコメンデーション、診断予測の3つのタスクのフル微調整を用いて、オープンソースの8つのSLMをベンチマークした。
2,083例のMIMIC-IV-EDとClaude Haiku 4.5およびClaude Sonnet 4.5をベースラインとして、LoRAの微調整オープンソースSLMは、トリアージレベルの予測と専門レファレンシャルレファレンシャルレコメンデーションにおいて商業ベースラインよりも優れ、一方、オープンソースのSLMでは診断予測が難しいことが判明した。
コンフュージョンマトリクス解析により、細調整されたオープンソースSLMは、商業ベースラインに欠落した高重度患者を検出できることが示された。
これらの結果から, ED意思決定支援において, 局所展開可能なSLMが臨床的に競合する性能を達成できることが示唆された。
関連論文リスト
- ConfTriage: A Calibration-Aware LLM Triage Framework for Pulmonary Nodule Malignancy with Selective Specialist Deferral [3.306924107222105]
我々は,標準結節属性の忠実な自然言語レンダリングのみを読み取る一般大規模言語モデル (LLM) が,校正三重項層として機能するかどうかを検討する。
本稿では, 言語をモダリティとして, キャリブレーションを安全機構として, および低信頼ケースのための選択的なDLバックストップとして, 3つの柱上に構築した信頼度校正手法であるConfTriageを提案する。
論文 参考訳(メタデータ) (2026-08-11T13:02:41Z) - Measuring the practice of shared-decision making (OPTION12): An Investigation into Open-sourced Smaller LLMs (OS-sLLMs) for Better Privacy and Sustainability [9.69093422708825]
本稿では, オブザーバOPTION12フレームワークを用いた共有意思決定(SDM)の自動評価のための, オープンソースの小型言語モデル (OS-sLLMs) について検討する。
発達段階のパイロット研究において,3つの一般ドメインと2つの医療ドメインOS-sLLMを評価した。
その結果、一般ドメインモデルは、幻覚と命令追従の失敗を示す医療ドメインモデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2026-07-07T10:37:04Z) - EHRBench: An Automated and Reliable EHR-based Benchmark for Clinical Decision Making with LLMs [51.129595320595094]
臨床意思決定 (CDM) は、臨床医が診断を推測し、治療を選択し、不完全な証拠の下で将来の健康結果を予測する、現実的な臨床の中心である。
LLMモデルは、強力な言語能力、幅広い生物医学的知識、効率性のために、これらの決定をサポートするためにますます使われています。
LLMの実際の臨床決定タスクに対する信頼性は、まだ十分に理解されていない。
論文 参考訳(メタデータ) (2026-05-28T22:38:26Z) - Domain-Adapted Small Language Models for Reliable Clinical Triage [4.836986736624673]
本研究では、オープンソースの小言語モデル(SLM)が、臨床トリアージのための信頼性とプライバシー保護のための意思決定支援ツールとして機能するかどうかを評価する。
論文 参考訳(メタデータ) (2026-04-29T15:00:09Z) - Context-Aware Hospitalization Forecasting Evaluations for Decision Support using LLMs [6.14481021961242]
大規模言語モデル(LLM)は、よりリッチなコンテキストを数値予測に組み込むことができる。
これらのモデルがどのようにして、現実の医療環境で安定した、あるいは決定に関連のある予測を生成するべきかは、まだ不明である。
アメリカ合衆国における低・中・高熱化強度60郡を対象とした3つのアプローチの評価を行った。
論文 参考訳(メタデータ) (2026-04-27T01:56:55Z) - EviCare: Enhancing Diagnosis Prediction with Deep Model-Guided Evidence for In-Context Reasoning [62.61394722212386]
EviCareは、大規模言語モデルにディープモデルガイダンスを統合する、コンテキスト内推論フレームワークである。
LLMのみのベースラインと深層モデルのみのベースラインを2つの実世界のEHRベンチマークで連続的に上回っている。
論文 参考訳(メタデータ) (2026-04-12T04:35:14Z) - MedAlign: A Synergistic Framework of Multimodal Preference Optimization and Federated Meta-Cognitive Reasoning [52.064286116035134]
我々はMed-VQA(Med-VQA)のための視覚的LVLM応答を保証するフレームワークであるMedAlignを開発した。
まず、優先学習を視覚的コンテキストに合わせるために、マルチモーダルな直接選好最適化(mDPO)の目的を提案する。
次に、画像とテキストの類似性を生かし、クエリを専門的でコンテキスト拡張されたLVLMにルーティングする検索型混合処理(RA-MoE)アーキテクチャを設計する。
論文 参考訳(メタデータ) (2025-10-24T02:11:05Z) - LLM4MSR: An LLM-Enhanced Paradigm for Multi-Scenario Recommendation [52.55639178180821]
マルチシナリオレコメンデーション(MSR)の研究は注目されており、すべてのシナリオのデータを使用してレコメンデーションのパフォーマンスを同時に改善している。
既存の手法では、不十分なシナリオ知識を統合し、パーソナライズされたクロスシナリオの嗜好を無視する傾向があり、それによってサブ最適パフォーマンスがもたらされる。
本稿では,これらのギャップを埋めるために,大規模言語モデル (LLM) 拡張パラダイム LLM4MSR を提案する。
論文 参考訳(メタデータ) (2024-06-18T11:59:36Z) - Distilling Large Language Models for Matching Patients to Clinical
Trials [3.4068841624198942]
近年の大規模言語モデル(LLMs)の成功は、医療分野における彼らの採用の道を開いた。
本研究は,患者と臨床の整合性に対するプロプライエタリ (GPT-3.5, GPT-4) とオープンソース LLM (LLAMA 7B, 13B, 70B) の併用性について,最初の系統的検討を行った。
この制限された合成データセットを微調整したオープンソースのLLMは、プロプライエタリなデータセットと同等の性能を示した。
論文 参考訳(メタデータ) (2023-12-15T17:11:07Z) - Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。
我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
論文 参考訳(メタデータ) (2023-08-25T14:02:12Z) - Information Extraction in Low-Resource Scenarios: Survey and Perspective [56.5556523013924]
情報抽出は構造化されていないテキストから構造化された情報を導き出そうとする。
本稿では,emphLLMおよびemphLLMに基づく低リソースIEに対するニューラルアプローチについて概説する。
論文 参考訳(メタデータ) (2022-02-16T13:44:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。