論文の概要: OpenMEDLab: An Open-source Platform for Multi-modality Foundation Models
in Medicine
- arxiv url: http://arxiv.org/abs/2402.18028v2
- Date: Mon, 4 Mar 2024 02:22:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 01:05:23.595766
- Title: OpenMEDLab: An Open-source Platform for Multi-modality Foundation Models
in Medicine
- Title（参考訳）: OpenMEDLab: 医療における多要素モデルのためのオープンソースプラットフォーム
- Authors: Xiaosong Wang and Xiaofan Zhang and Guotai Wang and Junjun He and
Zhongyu Li and Wentao Zhu and Yi Guo and Qi Dou and Xiaoxiao Li and Dequan
Wang and Liang Hong and Qicheng Lao and Tong Ruan and Yukun Zhou and Yixue Li
and Jie Zhao and Kang Li and Xin Sun and Lifeng Zhu and Shaoting Zhang
- Abstract要約: マルチモダリティ基盤モデルのためのオープンソースプラットフォームであるOpenMEDLabについて紹介する。
これは、最前線臨床および生体情報学応用のための大規模言語とビジョンモデルを刺激し、微調整する先駆的な試みの解決策をカプセル化する。
様々な医用画像のモダリティ、臨床テキスト、タンパク質工学など、事前訓練された基礎モデル群へのアクセスが可能である。
- 参考スコア（独自算出の注目度）: 55.29668193415034
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The emerging trend of advancing generalist artificial intelligence, such as
GPTv4 and Gemini, has reshaped the landscape of research (academia and
industry) in machine learning and many other research areas. However,
domain-specific applications of such foundation models (e.g., in medicine)
remain untouched or often at their very early stages. It will require an
individual set of transfer learning and model adaptation techniques by further
expanding and injecting these models with domain knowledge and data. The
development of such technologies could be largely accelerated if the bundle of
data, algorithms, and pre-trained foundation models were gathered together and
open-sourced in an organized manner. In this work, we present OpenMEDLab, an
open-source platform for multi-modality foundation models. It encapsulates not
only solutions of pioneering attempts in prompting and fine-tuning large
language and vision models for frontline clinical and bioinformatic
applications but also building domain-specific foundation models with
large-scale multi-modal medical data. Importantly, it opens access to a group
of pre-trained foundation models for various medical image modalities, clinical
text, protein engineering, etc. Inspiring and competitive results are also
demonstrated for each collected approach and model in a variety of benchmarks
for downstream tasks. We welcome researchers in the field of medical artificial
intelligence to continuously contribute cutting-edge methods and models to
OpenMEDLab, which can be accessed via https://github.com/openmedlab.
- Abstract（参考訳）: GPTv4やGeminiといった汎用人工知能の進歩するトレンドは、機械学習やその他の多くの研究分野における研究(学界と産業)の風景を変えつつある。
しかし、そのような基礎モデル(例えば医学)のドメイン固有の応用は、まだ触れられていないか、しばしばごく初期段階にある。
ドメイン知識とデータでこれらのモデルをさらに拡張し、注入することで、トランスファー学習とモデル適応のテクニックを個別にセットする必要があります。
このような技術の開発は、データ、アルゴリズム、事前訓練された基礎モデルのバンドルがまとめられ、組織化された方法でオープンソースになれば、大幅に加速できる。
本稿では,マルチモダリティ基盤モデルのオープンソースプラットフォームであるOpenMEDLabを紹介する。
最前線臨床およびバイオインフォマティクス応用のための大規模言語とビジョンモデルを促進、微調整する先駆的な試みの解決策をカプセル化するとともに、大規模マルチモーダル医療データを用いたドメイン固有の基礎モデルを構築する。
重要なのは、さまざまな医療画像のモダリティ、臨床テキスト、タンパク質工学などのための、事前訓練された基礎モデルへのアクセスだ。
また、ダウンストリームタスクのさまざまなベンチマークにおいて、収集された各アプローチとモデルに対して、刺激的かつ競争的な結果が示される。
私たちは医学的人工知能分野の研究者を歓迎し、最先端の方法やモデルをopenmedlabに継続的に提供し、https://github.com/openmedlab.comからアクセスできるようにします。
関連論文リスト
- The Era of Foundation Models in Medical Imaging is Approaching : A Scoping Review of the Clinical Value of Large-Scale Generative AI Applications in Radiology [0.0]
放射線技師の不足に起因する社会問題は激化しており、人工知能は潜在的な解決策として強調されている。
最近出現する大規模生成AIは、大規模言語モデル(LLM)からマルチモーダルモデルへと拡張されている。
このスコーピングレビューは、大規模生成型AIアプリケーションの臨床的価値に関する既存の文献を体系的に整理する。
論文 参考訳（メタデータ） (2024-09-03T00:48:50Z) - FEDKIM: Adaptive Federated Knowledge Injection into Medical Foundation Models [54.09244105445476]
本研究は,フェデレート・ラーニング・フレームワーク内で医療基盤モデルを拡張するための新しい知識注入手法であるFedKIMを紹介する。
FedKIMは軽量なローカルモデルを活用して、プライベートデータから医療知識を抽出し、この知識を集中基盤モデルに統合する。
7つのモードで12タスクを対象に実験を行い,FedKIMの有効性について検討した。
論文 参考訳（メタデータ） (2024-08-17T15:42:29Z) - Automated Ensemble Multimodal Machine Learning for Healthcare [52.500923923797835]
本稿では,自動機械学習を用いた構造化臨床(タブラル)データと医用画像の統合を実現するマルチモーダルフレームワークAutoPrognosis-Mを紹介する。
AutoPrognosis-Mには、畳み込みニューラルネットワークとビジョントランスフォーマーを含む17のイメージングモデルと、3つの異なるマルチモーダル融合戦略が含まれている。
論文 参考訳（メタデータ） (2024-07-25T17:46:38Z) - Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。
特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。
また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
論文 参考訳（メタデータ） (2024-04-27T05:03:42Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳（メタデータ） (2024-03-12T18:12:02Z) - HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。
HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-11-15T17:06:26Z) - Foundational Models in Medical Imaging: A Comprehensive Survey and
Future Vision [6.2847894163744105]
ファンデーションモデルは、広範囲の下流タスクに適応した大規模で事前訓練されたディープラーニングモデルである。
これらのモデルは、コンテキスト推論、一般化、テスト時の迅速な機能を促進する。
コンピュータビジョンの進歩に乗じて、医療画像はこれらのモデルへの関心も高まっている。
論文 参考訳（メタデータ） (2023-10-28T12:08:12Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳（メタデータ） (2023-05-25T16:29:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。