論文の概要: EVLF-FM: Explainable Vision Language Foundation Model for Medicine

• arxiv url: http://arxiv.org/abs/2509.24231v1
• Date: Mon, 29 Sep 2025 03:15:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.718363
• Title: EVLF-FM: Explainable Vision Language Foundation Model for Medicine
• Title（参考訳）: EVLF-FM: 説明可能な医用ビジョン言語基盤モデル
• Abstract要約: 本稿では,多モード視覚言語基盤モデルEVLF-FMについて述べる。 EVLF-FMの開発とテストは、23のグローバルデータセットから13万以上のサンプルを含んでいた。 疾患診断のための内部検証では、EVLF-FMは最高平均精度0.858とF1スコア0.797を達成した。 医学的な視覚的グラウンドでは、EVLF-FMは平均mIOU 0.743、Acc@0.5 0.837の9つのモードで恒星の性能を達成した。
• 参考スコア（独自算出の注目度）: 26.787109735346103
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite the promise of foundation models in medical AI, current systems remain limited - they are modality-specific and lack transparent reasoning processes, hindering clinical adoption. To address this gap, we present EVLF-FM, a multimodal vision-language foundation model (VLM) designed to unify broad diagnostic capability with fine-grain explainability. The development and testing of EVLF-FM encompassed over 1.3 million total samples from 23 global datasets across eleven imaging modalities related to six clinical specialties: dermatology, hepatology, ophthalmology, pathology, pulmonology, and radiology. External validation employed 8,884 independent test samples from 10 additional datasets across five imaging modalities. Technically, EVLF-FM is developed to assist with multiple disease diagnosis and visual question answering with pixel-level visual grounding and reasoning capabilities. In internal validation for disease diagnostics, EVLF-FM achieved the highest average accuracy (0.858) and F1-score (0.797), outperforming leading generalist and specialist models. In medical visual grounding, EVLF-FM also achieved stellar performance across nine modalities with average mIOU of 0.743 and Acc@0.5 of 0.837. External validations further confirmed strong zero-shot and few-shot performance, with competitive F1-scores despite a smaller model size. Through a hybrid training strategy combining supervised and visual reinforcement fine-tuning, EVLF-FM not only achieves state-of-the-art accuracy but also exhibits step-by-step reasoning, aligning outputs with visual evidence. EVLF-FM is an early multi-disease VLM model with explainability and reasoning capabilities that could advance adoption of and trust in foundation models for real-world clinical deployment.
• Abstract（参考訳）: 医療AIの基盤モデルが約束されているにもかかわらず、現在のシステムは限定的であり、モダリティに特化しており、透明な推論プロセスが欠如しており、臨床導入を妨げる。 このギャップに対処するため,多モード視覚言語基盤モデル(VLM)であるEVLF-FMを提案する。 EVLF-FMの開発と試験は、皮膚科、肝学、眼科、病理学、肺学、放射線学の6つの臨床専門分野に関連する11の画像モダリティにわたる23のグローバルデータセットから13万以上のサンプルを収集した。 外部検証では、5つの画像モダリティにまたがる10のデータセットから8,884の独立したテストサンプルを使用した。 EVLF-FMは、複数の疾患の診断と、ピクセルレベルの視覚的接地と推論機能による視覚的質問応答を支援するために開発された。 疾患診断のための内部検証において、EVLF-FMは最高平均精度(0.858)とF1スコア(0.797)を達成した。 医学的な視覚的グラウンドでは、EVLF-FMは平均mIOU 0.743、Acc@0.5 0.837の9つのモードで恒星の性能を達成した。 外部検証では、モデルサイズが小さいにもかかわらずF1スコアの強力なゼロショットと少数ショットのパフォーマンスが確認された。 教師付きと視覚的強化の微調整を組み合わせたハイブリッドトレーニング戦略を通じて、EVLF-FMは最先端の精度を達成するだけでなく、ステップバイステップの推論を示し、出力を視覚的証拠と整合させる。 EVLF-FMは、説明可能性と推論能力を備えた初期のマルチリリースVLMモデルであり、実際の臨床展開のための基礎モデルの採用と信頼を促進することができる。

関連論文リスト

• A Multimodal Foundation Model for Longitudinal Patient Representation and Scalable Insight Generation in Oncology [2.4534049320113227]
  我々は,170万人のがん患者の実世界の腫瘍学コホート上で開発された基礎モデルであるoFMを紹介した。 oFMは、毎日の臨床および分子エピソードを符号化し、それらを時間をかけて統合し、患者の状態の埋め込みを生成する。 予後ベンチマークでは、oFMは治療反応、進行のない生存、全体的な生存のためにAUCを改善した。
  論文  参考訳（メタデータ） (2026-08-25T15:17:12Z)
• Evaluating Multi-Turn Multimodal Diagnostic Reasoning on Challenging Real-World Clinical Cases [59.5328455571863]
  ClinMM-Benchは、これまでで最大のマルチターンマルチモーダル臨床診断評価ベンチマークである。 実際の患者は1,089件、医療画像は3,760件、専門は8件。 プロプライエタリモデルでは診断精度が最も高かったが、正確な診断の割合は限られていた。
  論文  参考訳（メタデータ） (2026-07-28T16:19:03Z)
• ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding [67.57715989349471]
  MLLM(Multimodal large language model)は、臨床実践に革命をもたらす大きな可能性を秘めている。 我々は、総合的な医学的理解のために設計された視覚中心のMLLMであるClinFusionを紹介する。 ClinFusionは、総合的な2Dおよび3Dマルチモーダル・メディカル・ベンチマーク・スイートにまたがって、最先端の新たな状態を設定する。
  論文  参考訳（メタデータ） (2026-07-27T17:59:49Z)
• Disease-Centric Vision-Language Pretraining with Hybrid Visual Encoding for 3D Computed Tomography [75.7789001619107]
  ビジョン言語による事前トレーニングは、汎用医療AIにとって大きな可能性を秘めている。 3つの主要なコンポーネントを特徴とするフレームワークを提案する。 診断対応プロンプト戦略では、トレーニング前の推論ギャップを埋めるために、実際の臨床用語と集約された疾患プロトタイプを用いている。
  論文  参考訳（メタデータ） (2026-06-24T08:24:45Z)
• Cerebra: A Multidisciplinary AI Board for Multimodal Dementia Characterization and Risk Assessment [56.62016795093786]
  CerebraはインタラクティブなマルチエージェントAIチームで、ERH、臨床ノート、医療画像分析のための特殊エージェントをコーディネートする。 構造化された表現を操作することで、プライバシ保護デプロイメントをサポートし、モダリティが不完全であれば、堅牢である。 Cerebraは、有識者のパフォーマンスを著しく改善し、前向き認知症リスク推定において精度を17.5ポイント向上させた。
  論文  参考訳（メタデータ） (2026-03-23T05:46:45Z)
• A Vision-Language Foundation Model for Zero-shot Clinical Collaboration and Automated Concept Discovery in Dermatology [31.639593207459058]
  本稿では,マスク付き潜在モデルとコントラスト学習を用いて学習した皮膚科視覚言語基礎モデルであるDermFM-Zeroを紹介する。 我々は、ゼロショット診断とマルチモーダル検索にまたがる20のベンチマークで評価を行い、タスク固有の適応を伴わずに最先端のパフォーマンスを実現した。 以上より, 基礎モデルにより, 効果的, 安全, 透明なゼロショット臨床診断支援が可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-02-11T08:14:20Z)
• Vision Foundation Models Can Be Good Tokenizers for Latent Diffusion Models [45.63522160275318]
  Vision Foundation Model Variational Autoencoder (VFM-VAE) は、VFMのセマンティックフォーカスとピクセルレベルの忠実さの必要性の間の固有の緊張を解決するために設計された。 我々のシステムは80エポックで2.20のgFID(w/o CFG)に達する(先行トークン化器の10倍の高速化)。
  論文  参考訳（メタデータ） (2025-10-21T09:30:45Z)
• Multimodal, Multi-Disease Medical Imaging Foundation Model (MerMED-FM) [22.690349928759986]
  我々は,自己教師付き学習とメモリモジュールを用いて学習した,最先端のマルチモーダル基盤モデルであるMerMED-FMを開発した。 MerMED-FMは10以上の専門品と7つのモダリティから330万枚の医療画像で訓練された。 AUROCは0.988(皮膚)、0.982(病理)、0.951(US)、0.943(CT)、0.931(CFP)、0.894(CXR)の全てのモードで強い性能が達成された。
  論文  参考訳（メタデータ） (2025-06-30T18:50:31Z)
• Predicting Length of Stay in Neurological ICU Patients Using Classical Machine Learning and Neural Network Models: A Benchmark Study on MIMIC-IV [49.1574468325115]
  本研究は、MIMIC-IVデータセットに基づく神経疾患患者を対象とした、ICUにおけるLOS予測のための複数のMLアプローチについて検討する。 評価されたモデルには、古典的MLアルゴリズム(K-Nearest Neighbors、Random Forest、XGBoost、CatBoost)とニューラルネットワーク(LSTM、BERT、テンポラルフュージョントランス)が含まれる。
  論文  参考訳（メタデータ） (2025-05-23T14:06:42Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• Is an Ultra Large Natural Image-Based Foundation Model Superior to a Retina-Specific Model for Detecting Ocular and Systemic Diseases? [19.8132297355024]
  RETFoundおよびDINOv2モデルは眼疾患検出および全身性疾患予知タスクのために評価された。 RETFoundは、心不全、梗塞、虚血性脳梗塞の予測において、すべてのDINOv2モデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2025-02-10T09:31:39Z)
• Privacy-Preserving Federated Foundation Model for Generalist Ultrasound Artificial Intelligence [83.02106623401885]
  プライバシー保護型超音波基礎モデルであるUltraFedFMを提案する。 UltraFedFMは、9か国の16の分散医療機関にわたる連合学習を用いて、協調的に事前訓練されている。 疾患診断には0.927のレシーバ動作特性曲線、病変セグメント化には0.878のサイス類似係数を平均的に達成する。
  論文  参考訳（メタデータ） (2024-11-25T13:40:11Z)
• CRTRE: Causal Rule Generation with Target Trial Emulation Framework [47.2836994469923]
  ターゲットトライアルエミュレーションフレームワーク(CRTRE)を用いた因果ルール生成という新しい手法を提案する。 CRTREは、アソシエーションルールの因果効果を推定するためにランダム化トライアル設計原則を適用している。 次に、病気発症予測などの下流アプリケーションにそのような関連ルールを組み込む。
  論文  参考訳（メタデータ） (2024-11-10T02:40:06Z)
• SemiHVision: Enhancing Medical Multimodal Models with a Semi-Human Annotated Dataset and Fine-Tuned Instruction Generation [13.672776832197918]
  MLLM(Multimodal large language model)は大きな進歩を遂げているが、専門知識が限られているため、医療分野の課題に直面している。 データ収集やモデル微調整,評価など,エンドツーエンドの学習パイプラインのさまざまな段階において,このギャップに対処することを目指している。
  論文  参考訳（メタデータ） (2024-10-19T02:35:35Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• CXR-LLAVA: a multimodal large language model for interpreting chest X-ray images [3.0757789554622597]
  本研究の目的は,胸部X線画像(CXR)を解釈するためのオープンソースのマルチモーダル大言語モデル(CXR-LLAVA)を開発することである。 トレーニングでは,592,580個のCXRを収集し,そのうち374,881個のX線写真異常のラベルが得られた。 主な病理所見に対する診断成績と,ヒト放射線技師による放射線学的報告の受容性について検討した。
  論文  参考訳（メタデータ） (2023-10-22T06:22:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。