論文の概要: SoftTiger: A Clinical Foundation Model for Healthcare Workflows
- arxiv url: http://arxiv.org/abs/2403.00868v1
- Date: Fri, 1 Mar 2024 04:39:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 16:17:46.044912
- Title: SoftTiger: A Clinical Foundation Model for Healthcare Workflows
- Title（参考訳）: SoftTiger:医療ワークフローのための臨床基礎モデル
- Authors: Ye Chen, Igor Couto, Wei Cai, Cong Fu, Bruno Dorneles
- Abstract要約: 医療基盤モデルとして設計された臨床用大規模言語モデル(CLaM)であるSoftTigerをリリースし紹介する。
我々は,臨床ノートを臨床データに構造化する上で重要な問題に対処する。
我々は,3つの重要なサブタスク,すなわち国際的患者要約,臨床的印象,医療的出会いのデータを収集し,注釈する。
- 参考スコア（独自算出の注目度）: 5.559128550958323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We release and introduce SoftTiger, a clinical large language model (CLaM)
designed as a foundation model for healthcare workflows. The narrative and
unstructured nature of clinical notes is a major obstacle for healthcare
intelligentization. We address a critical problem of structuring clinical notes
into clinical data, according to international interoperability standards. We
collect and annotate data for three critical subtasks, namely, international
patient summary, clinical impression and medical encounter. We then supervised
fine-tuned a state-of-the-art LLM using public and credentialed clinical data.
The training is orchestrated in a way that the target model can first support
basic clinical tasks such as abbreviation expansion and temporal information
extraction, and then learn to perform more complex downstream clinical tasks
such as impression and encounter summary. Moreover, we address, several
modeling challenges in the healthcare context, e.g., extra long context window.
Our blind pairwise evaluation shows that SoftTiger outperforms other popular
open-source models and GPT-3.5, comparable to Gemini-pro, and only has a mild
gap from GPT-4. We believe that LLMs may become a step-stone towards healthcare
digitalization and democratization. Therefore, we publicly release SoftTiger
models at scales of 13 billion and 70 billion parameters, as well as datasets
and code for our innovative scalable evaluation, hopefully, making a
significant contribution to the healthcare industry.
- Abstract（参考訳）: 医療ワークフローの基礎モデルとして設計された臨床用大規模言語モデル(CLaM)であるSoftTigerをリリースし紹介する。
臨床ノートの物語と非構造化の性質は、医療の知的化の大きな障害である。
我々は,国際インターオペラビリティ基準に基づき,臨床記録を臨床データに構造化するという重大な問題に対処している。
我々は,3つの重要なサブタスク,すなわち国際患者要約,臨床印象,医療的出会いのデータを収集し,注釈する。
その後,公立および認証された臨床データを用いて,最先端のLCMを微調整した。
トレーニングは、ターゲットモデルが最初に短縮拡張や時間情報抽出などの基本的な臨床タスクをサポートし、次に印象や遭遇要約といったより複雑な下流臨床タスクを実行することを学ぶように編成される。
さらに、医療コンテキストにおけるいくつかのモデリング課題、例えば、余分な長いコンテキストウィンドウに対処する。
我々の盲目的評価は、SoftTigerが他の人気のあるオープンソースモデルとGPT-3.5より優れていることを示している。
LLMは医療のデジタル化と民主化の足掛かりになるかもしれない。
ですから私たちは,130億から70億のパラメータのスケールでsofttigerモデルを公開するとともに,革新的なスケーラブルな評価のためのデータセットやコードを公開しています。
関連論文リスト
- Harmonising the Clinical Melody: Tuning Large Language Models for Hospital Course Summarisation in Clinical Coding [5.279406017862076]
病院のコースをまとめることの課題は、さらなる研究と開発のためのオープンな領域のままである。
Llama 3, BioMistral, Mistral Instruct v0.1 の3種類のプレトレーニング LLM を病院コース要約作業に適用した。
臨床領域の微調整の有効性を評価するため,BERTScoreおよびROUGE測定値を用いて微調整モデルの評価を行った。
論文 参考訳（メタデータ） (2024-09-23T00:35:23Z) - Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。
MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。
MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
論文 参考訳（メタデータ） (2024-08-22T17:01:34Z) - Adapting Open-Source Large Language Models for Cost-Effective, Expert-Level Clinical Note Generation with On-Policy Reinforcement Learning [19.08691249610632]
本研究では,オープンソースのLLaMA-213億パラメータモデルに対する包括的ドメイン・タスク特化プロセスを提案する。
教師モデルとしてGemini 1.0 Proを用いて、政治強化学習を行うための新しいアプローチであるDistillDirectを導入する。
我々のモデルであるLLaMA-Clinicは、医師が作成したものと同等の品質の臨床メモを生成することができる。
論文 参考訳（メタデータ） (2024-04-25T15:34:53Z) - A Dataset and Benchmark for Hospital Course Summarization with Adapted Large Language Models [4.091402760759184]
大規模言語モデル(LLM)は、現実世界のタスクを自動化する際、顕著な能力を示しているが、医療応用の能力は示されていない。
臨床ノートと短い病院コースをカプセル化したMIMIC-IV-BHC(MIMIC-IV-BHC)を導入した。
臨床ノートを入力として,3つのオープンソースLSMと2つの独自LSMに対して,プロンプトベース(文脈内学習)と微調整ベースの適応戦略を適用した。
論文 参考訳（メタデータ） (2024-03-08T23:17:55Z) - AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。
この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。
高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文 参考訳（メタデータ） (2024-02-15T06:46:48Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳（メタデータ） (2024-02-05T08:25:22Z) - Do We Still Need Clinical Language Models? [15.023633270864675]
比較的小さな専門的な臨床モデルでは、コンテキスト内学習のアプローチが大幅に優れていることを示す。
physioNet Credentialed Health Dataライセンスとデータ使用契約の下で使用されるコードとモデルをリリースします。
論文 参考訳（メタデータ） (2023-02-16T05:08:34Z) - VBridge: Connecting the Dots Between Features, Explanations, and Data
for Healthcare Models [85.4333256782337]
VBridgeは、臨床医の意思決定ワークフローに機械学習の説明をシームレスに組み込むビジュアル分析ツールである。
我々は,臨床医がMLの特徴に慣れていないこと,文脈情報の欠如,コホートレベルの証拠の必要性など,3つの重要な課題を特定した。
症例スタディと専門医4名のインタビューを通じて, VBridgeの有効性を実証した。
論文 参考訳（メタデータ） (2021-08-04T17:34:13Z) - Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。
目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。
本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
論文 参考訳（メタデータ） (2021-08-02T10:42:52Z) - Benchmarking Automated Clinical Language Simplification: Dataset,
Algorithm, and Evaluation [48.87254340298189]
我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。
我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
論文 参考訳（メタデータ） (2020-12-04T06:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。