論文の概要: Multimodal Clinical Reasoning through Knowledge-augmented Rationale Generation
- arxiv url: http://arxiv.org/abs/2411.07611v1
- Date: Tue, 12 Nov 2024 07:34:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-13 13:18:56.344873
- Title: Multimodal Clinical Reasoning through Knowledge-augmented Rationale Generation
- Title(参考訳): 知識付加型ライナーレジェネレーションによるマルチモーダル臨床推論
- Authors: Shuai Niu, Jing Ma, Liang Bai, Zhihua Wang, Yida Xu, Yunya Song, Xian Yang,
- Abstract要約: 疾患診断におけるマルチモーダルな合理性生成に最適化されたSLMであるClinRaGenを紹介する。
ClinRaGenは、ドメイン知識と時系列EHRデータを統合するために、ユニークな知識強化された注意メカニズムを組み込んでいる。
以上の結果から,ClinRaGenはマルチモーダルEHRデータを解釈し,正確な臨床的根拠を生成するSLMの能力を著しく向上することが示された。
- 参考スコア(独自算出の注目度): 12.242305026271675
- License:
- Abstract: Clinical rationales play a pivotal role in accurate disease diagnosis; however, many models predominantly use discriminative methods and overlook the importance of generating supportive rationales. Rationale distillation is a process that transfers knowledge from large language models (LLMs) to smaller language models (SLMs), thereby enhancing the latter's ability to break down complex tasks. Despite its benefits, rationale distillation alone is inadequate for addressing domain knowledge limitations in tasks requiring specialized expertise, such as disease diagnosis. Effectively embedding domain knowledge in SLMs poses a significant challenge. While current LLMs are primarily geared toward processing textual data, multimodal LLMs that incorporate time series data, especially electronic health records (EHRs), are still evolving. To tackle these limitations, we introduce ClinRaGen, an SLM optimized for multimodal rationale generation in disease diagnosis. ClinRaGen incorporates a unique knowledge-augmented attention mechanism to merge domain knowledge with time series EHR data, utilizing a stepwise rationale distillation strategy to produce both textual and time series-based clinical rationales. Our evaluations show that ClinRaGen markedly improves the SLM's capability to interpret multimodal EHR data and generate accurate clinical rationales, supporting more reliable disease diagnosis, advancing LLM applications in healthcare, and narrowing the performance divide between LLMs and SLMs.
- Abstract(参考訳): 臨床的理性は正確な疾患診断において重要な役割を担っているが、多くのモデルは差別的手法を主に用い、支援的理性を生み出すことの重要性を軽視している。
Rationale 蒸留は、大きな言語モデル(LLM)からより小さな言語モデル(SLM)に知識を伝達するプロセスであり、複雑なタスクを分解する能力を高める。
その利点にもかかわらず、合理的蒸留だけでは、疾患診断のような専門的な専門知識を必要とするタスクにおいて、ドメイン知識の限界に対処するには不十分である。
SLMにドメイン知識を効果的に埋め込むことは、大きな課題となる。
現在のLLMは主にテキストデータを処理することを目的としているが、時系列データ、特に電子健康記録(EHR)を組み込んだマルチモーダルLLMは今も進化を続けている。
これらの制約に対処するため,病気診断における多モード理性生成に最適化されたSLMであるClinRaGenを導入する。
ClinRaGenは、ドメイン知識を時系列EHRデータとマージするためのユニークな知識強化された注意機構を導入し、段階的に合理的な蒸留戦略を利用して、テキストと時系列に基づく臨床理性の両方を生成する。
以上の結果から,ClinRaGenはマルチモーダルEHRデータを解釈し,より信頼性の高い疾患診断をサポートし,医療におけるLSM応用を推進し,LSMとSLMのパフォーマンス格差を狭めることにより,SLMの能力を著しく改善することが示された。
関連論文リスト
- Mitigating Hallucinations of Large Language Models in Medical Information Extraction via Contrastive Decoding [92.32881381717594]
医療情報抽出タスクにおける幻覚の問題を解決するために,ALCD(ALternate Contrastive Decoding)を導入する。
ALCDは, 従来の復号法に比べて幻覚の解消に有意な改善が見られた。
論文 参考訳(メタデータ) (2024-10-21T07:19:19Z) - Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。
MIMIC-IIIでは最大10.8~15.0%、MIMIC-IVでは12.6~12.7%である。
論文 参考訳(メタデータ) (2024-10-06T18:46:28Z) - KARGEN: Knowledge-enhanced Automated Radiology Report Generation Using Large Language Models [39.831976458410864]
本稿では,大規模言語モデルに基づく知識向上型自動放射線学レポートジェネレーションフレームワークであるKARGENについて述べる。
このフレームワークは、LLM内の胸部疾患関連知識を解き放つための知識グラフを統合し、生成された報告の臨床的有用性を高める。
提案手法はMIMIC-CXRとIU-Xrayのデータセットに対して有望な結果を示す。
論文 参考訳(メタデータ) (2024-09-09T06:57:22Z) - Assessing and Enhancing Large Language Models in Rare Disease Question-answering [64.32570472692187]
本稿では,レアな疾患の診断におけるLarge Language Models (LLMs) の性能を評価するために,レアな疾患問合せデータセット(ReDis-QA)を導入する。
ReDis-QAデータセットでは1360の高品質な質問応答ペアを収集し,205の稀な疾患をカバーした。
その後、いくつかのオープンソースのLCMをベンチマークし、希少疾患の診断がこれらのモデルにとって重要な課題であることを示した。
実験の結果,ReCOPは,ReDis-QAデータセット上でのLCMの精度を平均8%向上できることがわかった。
論文 参考訳(メタデータ) (2024-08-15T21:09:09Z) - MedTsLLM: Leveraging LLMs for Multimodal Medical Time Series Analysis [6.30440420617113]
MedTsLLMは、時系列データとリッチな文脈情報をテキスト形式で統合し、生理的信号を解析する汎用多モーダル大規模言語モデル(LLM)フレームワークである。
本研究は,連続時間における意味的セグメンテーション,境界検出,異常検出という,臨床的関連性のある3つのタスクを実行する。
我々のモデルは、深層学習モデル、他のLSM、および複数の医療領域における臨床方法など、最先端のベースラインよりも優れています。
論文 参考訳(メタデータ) (2024-08-14T18:57:05Z) - CliBench: A Multifaceted and Multigranular Evaluation of Large Language Models for Clinical Decision Making [16.310913127940857]
我々はMIMIC IVデータセットから開発された新しいベンチマークであるCliBenchを紹介する。
このベンチマークは、臨床診断におけるLSMの能力を包括的かつ現実的に評価する。
臨床診断の熟練度を評価するため,先進LSMのゼロショット評価を行った。
論文 参考訳(メタデータ) (2024-06-14T11:10:17Z) - XAI4LLM. Let Machine Learning Models and LLMs Collaborate for Enhanced In-Context Learning in Healthcare [16.79952669254101]
多層構造プロンプトを用いたゼロショット/ファウショットインコンテキスト学習(ICL)のための新しい手法を開発した。
また、ユーザと大規模言語モデル(LLM)間の2つのコミュニケーションスタイルの有効性についても検討する。
本研究は,性別バイアスや偽陰性率などの診断精度とリスク要因を系統的に評価する。
論文 参考訳(メタデータ) (2024-05-10T06:52:44Z) - REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records
Analysis via Large Language Models [19.62552013839689]
既存のモデルは、しばしば臨床上の課題に医学的文脈を欠いているため、外部知識の組み入れが促される。
本稿では、マルチモーダルEHR表現を強化するためのRAG(Retrieval-Augmented Generation)駆動フレームワークREALMを提案する。
MIMIC-III 死亡率と可読化タスクに関する実験は,ベースラインよりもREALM フレームワークの優れた性能を示す。
論文 参考訳(メタデータ) (2024-02-10T18:27:28Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - Redefining Digital Health Interfaces with Large Language Models [69.02059202720073]
大規模言語モデル(LLM)は、複雑な情報を処理できる汎用モデルとして登場した。
LLMが臨床医とデジタル技術との新たなインターフェースを提供する方法を示す。
自動機械学習を用いた新しい予後ツールを開発した。
論文 参考訳(メタデータ) (2023-10-05T14:18:40Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。