論文の概要: Frozen Models, Evolving Expertise: Model-Agnostic Learning from Deployment Experience for Multimodal Medical AI
- arxiv url: http://arxiv.org/abs/2610.09146v1
- Date: Tue, 06 Oct 2026 21:41:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.616172
- Title: Frozen Models, Evolving Expertise: Model-Agnostic Learning from Deployment Experience for Multimodal Medical AI
- Title(参考訳): 凍結モデルとエキスパートの進化:マルチモーダル医療AIの展開経験から学ぶモデル非依存学習
- Abstract要約: 大規模言語モデル(LLM)と視覚言語モデル(VLM)は通常、デプロイ後に凍結される。
これは医学において特に重要であり、新しい臨床証拠、新しいガイドライン、新しい治療法が確立された実践を変える可能性がある。
フリーズLDMとVLMをデプロイ経験から学習できるモデルに依存しないフレームワークを提案する。
- 参考スコア(独自算出の注目度): 19.66369113080244
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models (LLMs) and vision-language models (VLMs) are usually frozen after deployment, so they do not learn from the cases they solve. This is especially concerning in medicine, where new clinical evidence, updated guidelines, and new therapies can change established practice. Fine-tuning can update the model, but it requires access to model weights and additional training. Parameter-free methods avoid training, but they may overfit a fixed validation set, lack reliable domain knowledge, or lose visual details by saving experience only as text. To address these limitations, we present a model-agnostic framework that allows frozen LLMs and VLMs to learn from deployment experience through three forms of external expertise: a Skill that guides reasoning and tool use, a Knowledge Memory that stores reliable facts supported by earlier cases or trusted external evidence, and a Multimodal Knowledge Base that keeps visual examples and guides the model to relate each retrieved case to the current image. Instead of relying on a fixed validation set, a validation strategy keeps an update only if it helps on new cases without degrading performance on earlier ones. Across six benchmarks covering clinical diagnosis, clinical workflows, medical reasoning, and medical and non-medical visual reasoning, and with four open-weight and closed-source base models, our framework improves performance during online deployment by up to 34.2% over the base model on medical tasks, generalizes to unseen cases, transfers to other models without further optimization, and works in non-medical domains.
- Abstract(参考訳): 大規模言語モデル(LLM)と視覚言語モデル(VLM)は通常、デプロイ後に凍結されるため、解決したケースから学ばない。
これは医学において特に重要であり、新しい臨床証拠、新しいガイドライン、新しい治療法が確立された実践を変える可能性がある。
微調整はモデルを更新するが、モデルウェイトへのアクセスと追加のトレーニングが必要になる。
パラメータフリーなメソッドはトレーニングを避けるが、それらは固定された検証セットに過度に適合し、信頼できるドメイン知識が欠如し、あるいはテキストとしてのみエクスペリエンスを節約することで視覚的な詳細を失う可能性がある。
これらの制約に対処するために、フリーズLDMとVLMが外部の専門知識を通じてデプロイメント経験から学ぶことができるモデルに依存しないフレームワークを提案する。推論とツールの使用をガイドするスキル、過去の事例や信頼できる外部証拠によって裏付けられた信頼できる事実を記憶する知識記憶、そして、視覚的な例を保持し、モデルが現在の画像と関連付けるためのモデルを示すマルチモーダル知識ベースである。
確定したバリデーションセットに頼る代わりに、バリデーション戦略は、以前のもののパフォーマンスを低下させることなく、新しいケースで有効な場合にのみ更新を保持する。
臨床診断,臨床ワークフロー,医学的推論,医療的および非医学的視覚的推論,および4つのオープンウェイトおよびクローズドソースベースモデルを含む6つのベンチマークにおいて,我々のフレームワークは,医療タスクのベースモデルよりも最大34.2%向上し,未確認症例に一般化し,さらなる最適化なしに他のモデルに移行し,非医学的領域で作業する。
関連論文リスト
- Visual concept ranking uncovers medical shortcuts used by large multimodal models [1.1082922912570348]
大規模マルチモーダルモデル(LMM)において重要な視覚概念を識別する手法を提案する。
臨床皮膚画像から悪性皮膚病変を分類する作業に主に焦点をあてる。
論文 参考訳(メタデータ) (2026-02-04T22:27:34Z) - Uncertainty-Driven Expert Control: Enhancing the Reliability of Medical Vision-Language Models [52.2001050216955]
既存の方法は、モデル構造を調整したり、高品質なデータで微調整したり、好みの微調整によって、医療ビジョン言語モデル(MedVLM)の性能を向上させることを目的としている。
我々は,MedVLMと臨床専門知識の連携を図るために,Expert-Controlled-Free Guidance (Expert-CFG) という,ループ内のエキスパート・イン・ザ・ループフレームワークを提案する。
論文 参考訳(メタデータ) (2025-07-12T09:03:30Z) - Unsupervised Model Diagnosis [49.36194740479798]
本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。
提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
論文 参考訳(メタデータ) (2024-10-08T17:59:03Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳(メタデータ) (2024-03-12T18:12:02Z) - All models are local: time to replace external validation with recurrent
local validation [10.043347396280009]
MLモデルの一般化性を保証するため、外部検証がしばしば推奨される。
一般化性や、モデルの臨床的有用性に匹敵するものではない。
MLモデルの安全性やユーティリティを確立するには,外部検証が不十分である,と提案する。
論文 参考訳(メタデータ) (2023-05-05T00:48:23Z) - Safe AI for health and beyond -- Monitoring to transform a health
service [51.8524501805308]
機械学習アルゴリズムの出力を監視するために必要なインフラストラクチャを評価する。
モデルのモニタリングと更新の例を示す2つのシナリオを提示します。
論文 参考訳(メタデータ) (2023-03-02T17:27:45Z) - Distillation to Enhance the Portability of Risk Models Across
Institutions with Large Patient Claims Database [12.452703677540505]
可読性予測モデルのクロスサイト評価によるモデルポータビリティの実現性について検討する。
再帰型ニューラルネットワークを自己注意で拡張し、専門家の特徴とブレンドして、可読性予測モデルを構築する。
実験の結果、ある機関で訓練・試験されたMLモデルの直接適用は、同一施設で訓練・試験されたMLモデルよりも悪い結果が得られた。
論文 参考訳(メタデータ) (2022-07-06T05:26:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。