論文の概要: Foundational Models in Medical Imaging: A Comprehensive Survey and
Future Vision
- arxiv url: http://arxiv.org/abs/2310.18689v1
- Date: Sat, 28 Oct 2023 12:08:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 17:07:18.297472
- Title: Foundational Models in Medical Imaging: A Comprehensive Survey and
Future Vision
- Title(参考訳): 医用画像の基礎モデル : 包括的調査と今後の展望
- Authors: Bobby Azad, Reza Azad, Sania Eskandari, Afshin Bozorgpour, Amirhossein
Kazerouni, Islem Rekik, Dorit Merhof
- Abstract要約: ファンデーションモデルは、広範囲の下流タスクに適応した大規模で事前訓練されたディープラーニングモデルである。
これらのモデルは、コンテキスト推論、一般化、テスト時の迅速な機能を促進する。
コンピュータビジョンの進歩に乗じて、医療画像はこれらのモデルへの関心も高まっている。
- 参考スコア(独自算出の注目度): 6.2847894163744105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation models, large-scale, pre-trained deep-learning models adapted to a
wide range of downstream tasks have gained significant interest lately in
various deep-learning problems undergoing a paradigm shift with the rise of
these models. Trained on large-scale dataset to bridge the gap between
different modalities, foundation models facilitate contextual reasoning,
generalization, and prompt capabilities at test time. The predictions of these
models can be adjusted for new tasks by augmenting the model input with
task-specific hints called prompts without requiring extensive labeled data and
retraining. Capitalizing on the advances in computer vision, medical imaging
has also marked a growing interest in these models. To assist researchers in
navigating this direction, this survey intends to provide a comprehensive
overview of foundation models in the domain of medical imaging. Specifically,
we initiate our exploration by providing an exposition of the fundamental
concepts forming the basis of foundation models. Subsequently, we offer a
methodical taxonomy of foundation models within the medical domain, proposing a
classification system primarily structured around training strategies, while
also incorporating additional facets such as application domains, imaging
modalities, specific organs of interest, and the algorithms integral to these
models. Furthermore, we emphasize the practical use case of some selected
approaches and then discuss the opportunities, applications, and future
directions of these large-scale pre-trained models, for analyzing medical
images. In the same vein, we address the prevailing challenges and research
pathways associated with foundational models in medical imaging. These
encompass the areas of interpretability, data management, computational
requirements, and the nuanced issue of contextual comprehension.
- Abstract(参考訳): 基盤モデル、幅広い下流タスクに適応した大規模で事前学習されたディープラーニングモデル、近年、これらのモデルの台頭に伴うパラダイムシフト中のさまざまなディープラーニング問題において、大きな関心を集めている。
異なるモダリティ間のギャップを埋めるために、大規模なデータセットでトレーニングされた基礎モデルは、コンテキスト推論、一般化、テスト時の迅速な機能を促進する。
これらのモデルの予測は、広範囲なラベル付きデータや再学習を必要とせず、プロンプトと呼ばれるタスク固有のヒントでモデル入力を増強することで、新しいタスクに対して調整することができる。
コンピュータビジョンの進歩に乗じて、医療画像はこれらのモデルに対する関心も高まっている。
本調査は, この方向を探索する研究者を支援するため, 医用画像領域における基礎モデルの概要を概観する。
具体的には,基礎モデルの基礎となる基本概念を提示することによって,探索を開始する。
その後,医学領域における基礎モデルの方法論的分類法を提案し,トレーニング戦略を中心に構築された分類体系を提案するとともに,応用領域,画像モダリティ,特定の臓器,これらのモデルに不可欠なアルゴリズムなどの追加のファセットを取り入れた。
さらに,選択したアプローチの実践事例を強調し,これらの大規模事前学習モデルの機会,応用,今後の方向性について考察し,医用画像の解析を行う。
また,医療画像における基礎モデルに関連する課題と研究経路についても考察した。
これらは、解釈可能性、データ管理、計算要件、文脈理解の微妙な問題といった領域を包含している。
関連論文リスト
- OpenMEDLab: An Open-source Platform for Multi-modality Foundation Models
in Medicine [55.29668193415034]
マルチモダリティ基盤モデルのためのオープンソースプラットフォームであるOpenMEDLabについて紹介する。
これは、最前線臨床および生体情報学応用のための大規模言語とビジョンモデルを刺激し、微調整する先駆的な試みの解決策をカプセル化する。
様々な医用画像のモダリティ、臨床テキスト、タンパク質工学など、事前訓練された基礎モデル群へのアクセスが可能である。
論文 参考訳(メタデータ) (2024-02-28T03:51:02Z) - Masked Modeling for Self-supervised Representation Learning on Vision
and Beyond [69.64364187449773]
仮面モデリングは、トレーニング中に比例的にマスキングされる元のデータの一部を予測する、独特なアプローチとして現れてきた。
マスクモデリングにおけるテクニックの詳細については,多様なマスキング戦略,ターゲット回復,ネットワークアーキテクチャなどについて詳述する。
我々は、現在の手法の限界について議論し、マスクモデリング研究を進めるためのいくつかの道のりを指摘した。
論文 参考訳(メタデータ) (2023-12-31T12:03:21Z) - When is a Foundation Model a Foundation Model [1.306205741109041]
ファンデーションモデルは、非常に広範なデータセットのトレーニングを通じて、特定のドメインのコンテキストを学習することのできる、大規模で深い人工知能ニューラルネットワークである。
このようなモデルにより生成された表現は、デジタル病理学における検索タスクにおいて、従来よりはるかに小さいディープネットワークで生成された表現と比較して、劣った性能を示す。
論文 参考訳(メタデータ) (2023-09-14T18:03:33Z) - Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳(メタデータ) (2023-07-25T17:59:18Z) - Deep Learning Approaches for Data Augmentation in Medical Imaging: A
Review [2.8145809047875066]
医用画像拡張のための3種類の深部生成モデル(変分オートエンコーダ、生成対向ネットワーク、拡散モデル)に焦点をあてる。
本稿では,これらの各モデルにおける技術の現状について概説するとともに,分類,セグメンテーション,クロスモーダル翻訳など,医療画像における下流業務における活用の可能性について論じる。
我々のゴールは、医用画像増倍のための深部生成モデルの使用に関する総合的なレビューを提供することであり、医用画像解析における深部学習アルゴリズムの性能向上のためのこれらのモデルの可能性を明らかにすることである。
論文 参考訳(メタデータ) (2023-07-24T20:53:59Z) - Empirical Analysis of a Segmentation Foundation Model in Prostate
Imaging [9.99042549094606]
医療画像セグメンテーションのための基盤モデルUniverSegについて考察する。
本研究では,前立腺画像の文脈における経験的評価研究を行い,従来のタスク固有セグメンテーションモデルの訓練手法と比較する。
論文 参考訳(メタデータ) (2023-07-06T20:00:52Z) - MedFMC: A Real-world Dataset and Benchmark For Foundation Model
Adaptation in Medical Image Classification [41.16626194300303]
ファンデーションモデルは、多くの場合、大規模なデータで事前訓練されているが、様々なビジョンや言語アプリケーションのジャンプ開始において、最も成功している。
最近の進歩により、下流タスクにおける基礎モデルの適応は、少数のトレーニングサンプルだけで効率的に行えるようになった。
しかし, 医用画像解析におけるそのような学習パラダイムの適用は, 一般に公開されているデータやベンチマークが不足しているため, 依然として少ない。
論文 参考訳(メタデータ) (2023-06-16T01:46:07Z) - On the Challenges and Perspectives of Foundation Models for Medical
Image Analysis [17.613533812925635]
医療基盤モデルは、幅広い下流タスクを解く上で大きな可能性を秘めている。
それらは、正確で堅牢なモデルの開発を加速し、大量のラベル付きデータを削減し、患者のデータのプライバシと機密性を維持するのに役立つ。
論文 参考訳(メタデータ) (2023-06-09T06:54:58Z) - Large-scale Multi-Modal Pre-trained Models: A Comprehensive Survey [69.03538086844516]
本稿では, 自然言語処理, コンピュータビジョン, 音声処理における従来のディープラーニング, 事前学習の成果を概観することにより, マルチモーダル事前学習の背景を紹介する。
次に,マルチモーダル事前学習モデル(MM-PTM)のタスク定義,課題,メリットを紹介し,データ,目的,ネットワークアーキテクチャ,知識強化事前学習に着目して,MM-PTMについて議論する。
論文 参考訳(メタデータ) (2023-02-20T15:34:03Z) - Ultrasound Signal Processing: From Models to Deep Learning [64.56774869055826]
医用超音波画像は、信頼性と解釈可能な画像再構成を提供するために、高品質な信号処理に大きく依存している。
データ駆動方式で最適化されたディープラーニングベースの手法が人気を集めている。
比較的新しいパラダイムは、データ駆動型ディープラーニングの活用とドメイン知識の活用という2つのパワーを組み合わせたものだ。
論文 参考訳(メタデータ) (2022-04-09T13:04:36Z) - Domain Shift in Computer Vision models for MRI data analysis: An
Overview [64.69150970967524]
機械学習とコンピュータビジョン手法は、医用画像解析において優れた性能を示している。
しかし、現在臨床応用はごくわずかである。
異なるソースや取得ドメインのデータへのモデルの不適切な転送性は、その理由の1つです。
論文 参考訳(メタデータ) (2020-10-14T16:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。