論文の概要: Towards General Purpose Medical AI: Continual Learning Medical Foundation Model

• arxiv url: http://arxiv.org/abs/2303.06580v1
• Date: Sun, 12 Mar 2023 05:27:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 18:04:52.822485
• Title: Towards General Purpose Medical AI: Continual Learning Medical Foundation Model
• Title（参考訳）: 汎用医療aiに向けて : 継続的学習医療基盤モデル
• Authors: Huahui Yi, Ziyuan Qin, Qicheng Lao, Wei Xu, Zekun Jiang, Dequan Wang, Shaoting Zhang, Kang Li
• Abstract要約: 現実シナリオにおける必然的領域とタスクの相違は、医学データのための事前訓練された深層モデルの一般化性能を損なう可能性がある。 私たちは、下流のドメイン/タスクにシームレスに適応できる汎用医療AIシステムを構築するべきだと大胆に提案します。
• 参考スコア（独自算出の注目度）: 22.03086588403621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inevitable domain and task discrepancies in real-world scenarios can impair the generalization performance of the pre-trained deep models for medical data. Therefore, we audaciously propose that we should build a general-purpose medical AI system that can be seamlessly adapted to downstream domains/tasks. Since the domain/task adaption procedures usually involve additional labeling work for the target data, designing a data-efficient adaption algorithm is desired to save the cost of transferring the learned knowledge. Our recent work found that vision-language models (VLMs) are efficient learners with extraordinary cross-domain ability. Therefore, in this work, we further explore the possibility of leveraging pre-trained VLMs as medical foundation models for building general-purpose medical AI, where we thoroughly investigate three machine-learning paradigms, i.e., domain/task-specialized learning, joint learning, and continual learning, for training the VLMs and evaluate their generalization performance on cross-domain and cross-task test sets. To alleviate the catastrophic forgetting during sequential training, we employ rehearsal learning and receive a sharp boost in terms of generalization capability. In a nutshell, our empirical evidence suggests that continual learning may be a practical and efficient learning paradigm for the medical foundation model. And we hope researchers can use our empirical evidence as basement to further explore the path toward medical foundation model.
• Abstract（参考訳）: 現実シナリオにおける必然的領域とタスクの相違は、医学データのための事前訓練された深層モデルの一般化性能を損なう可能性がある。 そこで我々は、下流ドメイン/タスクにシームレスに適応できる汎用医療AIシステムを構築するべきだと大胆に提案する。 ドメイン/タスク適応処理は通常、対象データに対する追加のラベル付け作業を含むため、学習した知識を転送するコストを削減するために、データ効率の適応アルゴリズムを設計する必要がある。 最近の研究により、視覚言語モデル(vlms)は、並外れたクロスドメイン能力を持つ効率的な学習者であることが判明した。 そこで本研究では,vlmを総合的な医療ai構築のための医療基盤モデルとして活用し,vlmを訓練し,クロスドメインおよびクロスタスクテストセットにおける一般化性能を評価するための3つの機械学習パラダイム,すなわちドメイン/タスク特化学習,ジョイントラーニング,継続学習を徹底的に検討する。 逐次訓練における破滅的な忘れを緩和するため,リハーサル学習を採用し,一般化能力の面で急激な向上を図った。 簡単に言うと、我々の実証的な証拠は、継続学習が医療基盤モデルのための実践的で効率的な学習パラダイムである可能性を示唆している。 そして私たちは、実験的な証拠を基盤として、医療基盤モデルへの道のりをさらに探ることができることを願っています。

関連論文リスト

• An Efficient Contrastive Unimodal Pretraining Method for EHR Time Series Data [35.943089444017666]
  本稿では,長期臨床経過データに適した比較事前学習法を提案する。 本モデルでは, 臨床医が患者の症状についてより深い知見を得られるように, 欠損測定をインプットする能力を示す。
  論文  参考訳（メタデータ） (2024-10-11T19:05:25Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• ProtoKD: Learning from Extremely Scarce Data for Parasite Ova Recognition [5.224806515926022]
  ProtoKDは,極端に少ないデータを用いたマルチクラス寄生生物認識の課題に対処するための最初のアプローチの一つである。 我々は、この重要な方向の研究を推進し、提案したProtoKDフレームワークが最先端のパフォーマンスを達成することを検証するために、新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2023-09-18T23:49:04Z)
• Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
  本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。 アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-25T16:29:16Z)
• Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining [121.89793208683625]
  医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。 我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-26T01:26:19Z)
• Federated Cycling (FedCy): Semi-supervised Federated Learning of Surgical Phases [57.90226879210227]
  FedCyは、FLと自己教師付き学習を組み合わせた半教師付き学習(FSSL)手法で、ラベル付きビデオとラベルなしビデオの両方の分散データセットを利用する。 外科的段階の自動認識作業において,最先端のFSSL法よりも顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2022-03-14T17:44:53Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Pre-training transformer-based framework on large-scale pediatric claims data for downstream population-specific tasks [3.1580072841682734]
  本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。 効果的な知識伝達はタスク対応微調整段階を通じて完了する。 我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
  論文  参考訳（メタデータ） (2021-06-24T15:25:41Z)
• Domain Generalization on Medical Imaging Classification using Episodic Training with Task Augmentation [62.49837463676111]
  本稿では,医用画像分類におけるタスク強化によるエピソードトレーニングの新たな手法を提案する。 実際の医療展開において、限られた数のソースドメインによって動機付けられ、ユニークなタスクレベルのオーバーフィッティングを検討します。
  論文  参考訳（メタデータ） (2021-06-13T03:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。