論文の概要: Proof-of-TBI -- Fine-Tuned Vision Language Model Consortium and OpenAI-o3 Reasoning LLM-Based Medical Diagnosis Support System for Mild Traumatic Brain Injury (TBI) Prediction
- arxiv url: http://arxiv.org/abs/2504.18671v1
- Date: Fri, 25 Apr 2025 19:49:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.938868
- Title: Proof-of-TBI -- Fine-Tuned Vision Language Model Consortium and OpenAI-o3 Reasoning LLM-Based Medical Diagnosis Support System for Mild Traumatic Brain Injury (TBI) Prediction
- Title(参考訳): 軽度外傷性脳損傷(TBI)予測のためのTBI -- 微調整視覚言語モデルコンソーシアムとOpenAI-o3推論LDMに基づく医療診断支援システム
- Authors: Ross Gore, Eranga Bandara, Sachin Shetty, Alberto E. Musto, Pratip Rana, Ambrosio Valencia-Romero, Christopher Rhea, Lobat Tayebi, Heather Richter, Atmaram Yarlagadda, Donna Edmonds, Steven Wallace, Donna Broshek,
- Abstract要約: 視覚言語モデルとOpenAI-o3推論大言語モデル(LLM)を統合する医療診断支援システムProof-of-TBIを提案する。
TBI MRIスキャンのラベル付きデータセットを用いて、複数の視覚言語モデルに微調整を行い、TBIの症状を効果的に診断する訓練を行った。
このシステムは,優れた推論性能を示すモデルであるOpenAI-o3推論LPMを用いて,すべての微調整された視覚言語モデルからの予測を評価する。
- 参考スコア(独自算出の注目度): 1.1488411226515398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mild Traumatic Brain Injury (TBI) detection presents significant challenges due to the subtle and often ambiguous presentation of symptoms in medical imaging, making accurate diagnosis a complex task. To address these challenges, we propose Proof-of-TBI, a medical diagnosis support system that integrates multiple fine-tuned vision-language models with the OpenAI-o3 reasoning large language model (LLM). Our approach fine-tunes multiple vision-language models using a labeled dataset of TBI MRI scans, training them to diagnose TBI symptoms effectively. The predictions from these models are aggregated through a consensus-based decision-making process. The system evaluates the predictions from all fine-tuned vision language models using the OpenAI-o3 reasoning LLM, a model that has demonstrated remarkable reasoning performance, to produce the most accurate final diagnosis. The LLM Agents orchestrates interactions between the vision-language models and the reasoning LLM, managing the final decision-making process with transparency, reliability, and automation. This end-to-end decision-making workflow combines the vision-language model consortium with the OpenAI-o3 reasoning LLM, enabled by custom prompt engineering by the LLM agents. The prototype for the proposed platform was developed in collaboration with the U.S. Army Medical Research team in Newport News, Virginia, incorporating five fine-tuned vision-language models. The results demonstrate the transformative potential of combining fine-tuned vision-language model inputs with the OpenAI-o3 reasoning LLM to create a robust, secure, and highly accurate diagnostic system for mild TBI prediction. To the best of our knowledge, this research represents the first application of fine-tuned vision-language models integrated with a reasoning LLM for TBI prediction tasks.
- Abstract(参考訳): 軽度外傷性脳損傷(TBI: Mild Traumatic Brain Injury)の検出は、医用画像における症状の微妙で曖昧な提示が原因で重大な課題を呈し、正確な診断を複雑にしている。
これらの課題に対処するために,複数の微調整された視覚言語モデルとOpenAI-o3推論大言語モデル(LLM)を統合する医療診断支援システムProof-of-TBIを提案する。
TBI MRIスキャンのラベル付きデータセットを用いて、複数の視覚言語モデルに微調整を行い、TBIの症状を効果的に診断する訓練を行った。
これらのモデルからの予測は、コンセンサスに基づく意思決定プロセスを通じて集約される。
このシステムはOpenAI-o3推論LLMを用いて,すべての微調整された視覚言語モデルからの予測を評価し,最も正確な最終診断を行う。
LLM Agentsはビジョン言語モデルと推論LLMの間のインタラクションをオーケストレーションし、透明性、信頼性、自動化を備えた最終的な意思決定プロセスを管理する。
このエンドツーエンドの意思決定ワークフローは、ビジョン言語モデルコンソーシアムと、LLMエージェントによるカスタムプロンプトエンジニアリングによって実現されたOpenAI-o3推論LPMを組み合わせたものである。
提案されたプラットフォームのプロトタイプは、バージニア州ニューポート・ニューズのアメリカ陸軍医療研究チームと共同で開発され、5つの微調整された視覚言語モデルが組み込まれた。
その結果、微調整された視覚言語モデル入力とOpenAI-o3推論LLMを組み合わせることで、穏やかなTBI予測のための堅牢でセキュアで高精度な診断システムを構築することができることを示す。
我々の知る限り、この研究は、TBI予測タスクのための推論LLMと統合された微調整された視覚言語モデルの最初の応用である。
関連論文リスト
- MMLNB: Multi-Modal Learning for Neuroblastoma Subtyping Classification Assisted with Textual Description Generation [1.8947479010393964]
MMLNBは、病理画像と生成されたテキスト記述を統合して、分類精度と解釈可能性を向上させるマルチモーダル学習モデルである。
本研究は,神経芽腫サブタイプ分類における信頼性と解釈可能性を高める,スケーラブルなAI駆動型デジタル病理フレームワークを作成する。
論文 参考訳(メタデータ) (2025-03-17T08:38:46Z) - Conversation AI Dialog for Medicare powered by Finetuning and Retrieval Augmented Generation [0.0]
大きな言語モデル(LLM)は、対話生成を含む自然言語処理タスクにおいて印象的な機能を示している。
本研究の目的は、LoRAによる微調整とRetrieval-Augmented Generationフレームワークという、2つの重要な技術の比較分析を行うことである。
論文 参考訳(メタデータ) (2025-02-04T11:50:40Z) - Diagnostic Reasoning in Natural Language: Computational Model and Application [68.47402386668846]
言語基底タスク(NL-DAR)の文脈における診断誘導推論(DAR)について検討する。
パール構造因果モデルに基づくNL-DARの新しいモデリングフレームワークを提案する。
得られたデータセットを用いて,NL-DARにおける人間の意思決定過程を解析する。
論文 参考訳(メタデータ) (2024-09-09T06:55:37Z) - RuleAlign: Making Large Language Models Better Physicians with Diagnostic Rule Alignment [54.91736546490813]
本稿では,大規模言語モデルと特定の診断規則との整合性を考慮したルールアラインフレームワークを提案する。
患者と医師間の規則に基づくコミュニケーションを含む医療対話データセットを開発した。
実験の結果,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2024-08-22T17:44:40Z) - SkinGEN: an Explainable Dermatology Diagnosis-to-Generation Framework with Interactive Vision-Language Models [54.32264601568605]
SkinGENは、VLMが提供する診断結果から参照デモを生成する、診断から生成までのフレームワークである。
システム性能と説明可能性の両方を評価するために,32人の参加者によるユーザスタディを実施している。
その結果、SkinGENはVLM予測に対するユーザの理解を著しく改善し、診断プロセスへの信頼を高めることが示されている。
論文 参考訳(メタデータ) (2024-04-23T05:36:33Z) - Conversational Disease Diagnosis via External Planner-Controlled Large Language Models [18.93345199841588]
本研究は,医師のエミュレートによる計画能力の向上を目的としたLCMに基づく診断システムを提案する。
実際の患者電子カルテデータを利用して,仮想患者と医師とのシミュレーション対話を構築した。
論文 参考訳(メタデータ) (2024-04-04T06:16:35Z) - Integrating Physician Diagnostic Logic into Large Language Models: Preference Learning from Process Feedback [19.564416963801268]
プロセスフィードバックから選好学習というアプローチを提案する。
PLPFは医師の診断ロジックをLSMに統合する。
PLPFは医療会話におけるベースラインモデルの診断精度を17.6%向上させる。
論文 参考訳(メタデータ) (2024-01-11T06:42:45Z) - Customizing General-Purpose Foundation Models for Medical Report
Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。
本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文 参考訳(メタデータ) (2023-06-09T03:02:36Z) - Interpretable Medical Diagnostics with Structured Data Extraction by
Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。
本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。
本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-08T09:12:28Z) - Context-dependent Explainability and Contestability for Trustworthy
Medical Artificial Intelligence: Misclassification Identification of
Morbidity Recognition Models in Preterm Infants [0.0]
説明可能なAI(XAI)は、エンドユーザーをサポートするAI推論を明確にすることで、この要件に対処することを目指している。
提案手法は,3つの主要な柱上に構築され,臨床コンテキストの潜時空間を利用して特徴セットを分解し,世界的説明の臨床的関連性を評価するとともに,局所的説明に基づく潜時空間類似性(LSS)を考察した。
論文 参考訳(メタデータ) (2022-12-17T07:59:09Z) - VBridge: Connecting the Dots Between Features, Explanations, and Data
for Healthcare Models [85.4333256782337]
VBridgeは、臨床医の意思決定ワークフローに機械学習の説明をシームレスに組み込むビジュアル分析ツールである。
我々は,臨床医がMLの特徴に慣れていないこと,文脈情報の欠如,コホートレベルの証拠の必要性など,3つの重要な課題を特定した。
症例スタディと専門医4名のインタビューを通じて, VBridgeの有効性を実証した。
論文 参考訳(メタデータ) (2021-08-04T17:34:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。