論文の概要: COMPRER: A Multimodal Multi-Objective Pretraining Framework for Enhanced Medical Image Representation
- arxiv url: http://arxiv.org/abs/2403.09672v1
- Date: Sun, 4 Feb 2024 08:05:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 08:06:28.781788
- Title: COMPRER: A Multimodal Multi-Objective Pretraining Framework for Enhanced Medical Image Representation
- Title（参考訳）: 医用画像強調のためのマルチモーダル多目的事前学習フレームワークComprER
- Authors: Guy Lutsker, Hagai Rossman, Nastya Godiva, Eran Segal,
- Abstract要約: COMPRERは、新しいマルチモーダル、マルチオブジェクト事前トレーニングフレームワークである。
医学的イメージ表現、診断的推論、および疾患の予後を高める。
- 参考スコア（独自算出の注目度）: 1.5749416770494706
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Substantial advances in multi-modal Artificial Intelligence (AI) facilitate the combination of diverse medical modalities to achieve holistic health assessments. We present COMPRER , a novel multi-modal, multi-objective pretraining framework which enhances medical-image representation, diagnostic inferences, and prognosis of diseases. COMPRER employs a multi-objective training framework, where each objective introduces distinct knowledge to the model. This includes a multimodal loss that consolidates information across different imaging modalities; A temporal loss that imparts the ability to discern patterns over time; Medical-measure prediction adds appropriate medical insights; Lastly, reconstruction loss ensures the integrity of image structure within the latent space. Despite the concern that multiple objectives could weaken task performance, our findings show that this combination actually boosts outcomes on certain tasks. Here, we apply this framework to both fundus images and carotid ultrasound, and validate our downstream tasks capabilities by predicting both current and future cardiovascular conditions. COMPRER achieved higher Area Under the Curve (AUC) scores in evaluating medical conditions compared to existing models on held-out data. On the Out-of-distribution (OOD) UK-Biobank dataset COMPRER maintains favorable performance over well-established models with more parameters, even though these models were trained on $75\times$ more data than COMPRER. In addition, to better assess our model's performance in contrastive learning, we introduce a novel evaluation metric, providing deeper understanding of the effectiveness of the latent space pairing.
- Abstract（参考訳）: マルチモーダル人工知能(AI)の実質的な進歩は、総合的な健康評価を達成するために多様な医療モダリティの組み合わせを促進する。
医用画像の表現,診断推論,疾患の予後を向上する,新しい多目的・多目的事前訓練フレームワークであるComprERについて述べる。
COMPRERは多目的トレーニングフレームワークを採用しており、それぞれの目的がモデルに異なる知識を導入している。
これには、様々な画像モダリティにまたがる情報を集約する多モーダルな損失、時間とともにパターンを識別する能力を与える時間的損失、医療測定予測は適切な医学的洞察を与える。
複数の目的がタスクのパフォーマンスを低下させるのではないかという懸念にもかかわらず、この組み合わせによって実際にタスクの結果が向上することを示す。
本稿では、この枠組みを基底画像と頸動脈超音波の両方に適用し、現在の心血管疾患と将来の心血管疾患の両方を予測することによって、下流のタスク能力を検証する。
CompRERは、既成モデルと比較して、医療条件の評価においてAUC(Area Under the Curve)スコアを達成した。
アウト・オブ・ディストリビューション(OOD)では、UK-BiobankデータセットComperERは、パラメータがより多い確立されたモデルよりも優れたパフォーマンスを維持している。
さらに,比較学習におけるモデルの性能をよりよく評価するために,新しい評価指標を導入し,潜在空間ペアリングの有効性についてより深く理解する。
関連論文リスト
- MoRE: Multi-Modal Contrastive Pre-training with Transformers on X-Rays, ECGs, and Diagnostic Report [4.340464264725625]
我々は,X線,心電図(ECG),放射線学・心臓医学報告を相乗的に組み合わせた,新しいマルチモーダルコントラスト事前学習フレームワークを提案する。
我々はLoRA-Peftを用いて、LLMにおけるトレーニング可能なパラメータを著しく削減し、視覚変換器(ViT)に最近の線形アテンション降下戦略を取り入れ、よりスムーズなアテンションを実現する。
我々の知る限り、我々はX線、心電図、放射線学・医学レポートをこの手法と組み合わせた統合モデルを提案している。
論文 参考訳（メタデータ） (2024-10-21T17:42:41Z) - Rethinking Model Prototyping through the MedMNIST+ Dataset Collection [0.11999555634662634]
本研究は,MedMNIST+データベースに対する評価環境の多様化のためのベンチマークを示す。
我々は、医用画像分類のための共通畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースのアーキテクチャを徹底的に分析する。
この結果から,計算効率のよいトレーニングスキームと最新の基礎モデルは,高額なエンドツーエンドトレーニングとリソース強化アプローチのギャップを埋める上で有望であることが示唆された。
論文 参考訳（メタデータ） (2024-04-24T10:19:25Z) - HyperFusion: A Hypernetwork Approach to Multimodal Integration of Tabular and Medical Imaging Data for Predictive Modeling [4.44283662576491]
EHRの値と測定値に画像処理を条件付け,臨床画像と表層データを融合させるハイパーネットワークに基づく新しいフレームワークを提案する。
我々は, 単一モダリティモデルと最先端MRI-タブラルデータ融合法の両方に優れることを示す。
論文 参考訳（メタデータ） (2024-03-20T05:50:04Z) - DiCoM -- Diverse Concept Modeling towards Enhancing Generalizability in Chest X-Ray Studies [6.83819481805979]
胸部X線(胸部X線、CXR)は、広く用いられている画像モダリティである。
自己指導型プレトレーニングは、多くの下流視覚タスクにおいて教師付きプレトレーニングよりも優れていることが証明されている。
本稿では,新しい自己教師型トレーニングパラダイムであるDiCoMについて紹介する。
論文 参考訳（メタデータ） (2024-02-22T20:51:37Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - Bridging Synthetic and Real Images: a Transferable and Multiple
Consistency aided Fundus Image Enhancement Framework [61.74188977009786]
画像強調とドメイン適応を同時に行うために,エンドツーエンドの教師支援フレームワークを提案する。
また,教師ネットワークと学生ネットワークのバックボーンとして,マルチステージ型マルチアテンション・ガイド・エンハンスメント・ネットワーク(MAGE-Net)を提案する。
論文 参考訳（メタデータ） (2023-02-23T06:16:15Z) - Robust and Efficient Medical Imaging with Self-Supervision [80.62711706785834]
医用画像AIの堅牢性とデータ効率を向上させるための統一表現学習戦略であるREMEDISを提案する。
様々な医療画像タスクを研究し, 振り返りデータを用いて3つの現実的な応用シナリオをシミュレートする。
論文 参考訳（メタデータ） (2022-05-19T17:34:18Z) - Multi-objective optimization determines when, which and how to fuse deep
networks: an application to predict COVID-19 outcomes [1.8351254916713304]
マルチモーダル・エンド・ツー・エンドモデルのセットアップを最適化する新しい手法を提案する。
我々はAIforCOVIDデータセット上でテストを行い、最先端の結果を得た。
論文 参考訳（メタデータ） (2022-04-07T23:07:33Z) - On the Robustness of Pretraining and Self-Supervision for a Deep
Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
糖尿病網膜症における訓練方法の違いによる影響を比較検討した。
本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。
以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
論文 参考訳（メタデータ） (2021-06-25T08:32:45Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳（メタデータ） (2021-02-15T18:46:44Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-20T20:05:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。