論文の概要: Multi-objective optimization determines when, which and how to fuse deep networks: an application to predict COVID-19 outcomes

• arxiv url: http://arxiv.org/abs/2204.03772v1
• Date: Thu, 7 Apr 2022 23:07:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-11 13:36:21.925996
• Title: Multi-objective optimization determines when, which and how to fuse deep networks: an application to predict COVID-19 outcomes
• Title（参考訳）: 多目的最適化は、いつ、いつ、どのように深層ネットワークを融合するかを決定する:COVID-19の結果を予測するアプリケーション
• Authors: Valerio Guarrasi and Paolo Soda
• Abstract要約: マルチモーダル・エンド・ツー・エンドモデルのセットアップを最適化する新しい手法を提案する。 我々はAIforCOVIDデータセット上でテストを行い、最先端の結果を得た。
• 参考スコア（独自算出の注目度）: 1.8351254916713304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The COVID-19 pandemic has caused millions of cases and deaths and the AI-related scientific community, after being involved with detecting COVID-19 signs in medical images, has been now directing the efforts towards the development of methods that can predict the progression of the disease. This task is multimodal by its very nature and, recently, baseline results achieved on the publicly available AIforCOVID dataset have shown that chest X-ray scans and clinical information are useful to identify patients at risk of severe outcomes. While deep learning has shown superior performance in several medical fields, in most of the cases it considers unimodal data only. In this respect, when, which and how to fuse the different modalities is an open challenge in multimodal deep learning. To cope with these three questions here we present a novel approach optimizing the setup of a multimodal end-to-end model. It exploits Pareto multi-objective optimization working with a performance metric and the diversity score of multiple candidate unimodal neural networks to be fused. We test our method on the AIforCOVID dataset, attaining state-of-the-art results, not only outperforming the baseline performance but also being robust to external validation. Moreover, exploiting XAI algorithms we figure out a hierarchy among the modalities and we extract the features' intra-modality importance, enriching the trust on the predictions made by the model.
• Abstract（参考訳）: 新型コロナウイルス(COVID-19)のパンデミックは何百万もの患者や死を引き起こしており、医療画像に新型コロナウイルスの兆候が検出された後、AI関連の科学コミュニティは、病気の進行を予測できる方法の開発に向けた取り組みを指示している。 この課題は、その性質上マルチモーダルであり、近年のAIforCOVIDデータセットのベースライン結果は、胸部X線スキャンと臨床情報は、重篤な結果のリスクのある患者を特定するのに有用であることを示している。 深層学習はいくつかの医学分野において優れた成績を示したが、ほとんどの場合、単調なデータのみを考慮する。 この点において、どのようにして異なるモダリティを融合させるかは、マルチモーダルディープラーニングにおけるオープンチャレンジである。 これら3つの問題に対処するために、マルチモーダルなエンドツーエンドモデルのセットアップを最適化する新しいアプローチを提案する。 paretoのマルチ目的最適化を利用して、パフォーマンスメトリックと複数の候補ユニモーダルニューラルネットワークの多様性スコアを融合させる。 我々はAIforCOVIDデータセット上でテストを行い、最先端の結果が得られ、ベースラインのパフォーマンスを上回るだけでなく、外部の検証にも堅牢である。 さらに,xaiアルゴリズムの活用により,モダリティ間の階層構造が把握され,モダリティ内の重要性が抽出され,モデルによる予測に対する信頼度が高まる。

関連論文リスト

• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• Multimodal Medical Disease Classification with LLaMA II [0.14999444543328289]
  臨床報告に関連付けられた2次元胸部X線によるOpenIのテキストイメージペアデータセットを用いて検討した。 我々の焦点は、医療データセットから抽出したテキストと視覚情報を融合するための融合手法である。 新たに導入されたマルチモーダルアーキテクチャは、少ない労力で他のマルチモーダルデータセットに適用することができ、さらなる研究に容易に適応することができる。
  論文  参考訳（メタデータ） (2024-12-02T09:18:07Z)
• Multi-Dataset Multi-Task Learning for COVID-19 Prognosis [25.371798627482065]
  胸部X線による新型コロナウイルスの予後を予測できる新しいマルチデータセット・マルチタスク・トレーニング・フレームワークを提案する。 本フレームワークは,重大度スコアを評価することによって,重大度グループを分類するモデルの能力を高めることを仮定する。
  論文  参考訳（メタデータ） (2024-05-22T15:57:44Z)
• DrFuse: Learning Disentangled Representation for Clinical Multi-Modal Fusion with Missing Modality and Modal Inconsistency [18.291267748113142]
  そこで本研究では,DrFuseを効果的に多モード核融合を実現するために提案する。 モダリティに共通する特徴と各モダリティに特有の特徴を分離することで、モダリティの欠如に対処する。 実世界の大規模データセットMIMIC-IVとMIMIC-CXRを用いて提案手法を検証する。
  論文  参考訳（メタデータ） (2024-03-10T12:41:34Z)
• XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
  マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。 我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。 我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
  論文  参考訳（メタデータ） (2023-12-29T14:28:04Z)
• MaxCorrMGNN: A Multi-Graph Neural Network Framework for Generalized Multimodal Fusion of Medical Data for Outcome Prediction [3.2889220522843625]
  我々はMaxCorr MGNNと呼ばれる革新的な融合手法を開発し、患者内および患者間の非線形モダリティ相関をモデル化する。 次に,多層グラフにおけるタスクインフォームド推論のための汎用多層グラフニューラルネットワーク(MGNN)を初めて設計する。 我々は,本モデルを結核データセットにおける結果予測タスクとして評価し,最先端のニューラルネットワーク,グラフベース,従来の融合技術より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-13T23:52:41Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Multimodal Explainability via Latent Shift applied to COVID-19 stratification [0.7831774233149619]
  本稿では,モダリティの再構築とサンプル分類を共同で学習するディープアーキテクチャを提案する。 AIforCOVIDデータセットを使用して、COVID-19パンデミックの文脈でのアプローチを検証する。
  論文  参考訳（メタデータ） (2022-12-28T20:07:43Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• M2Net: Multi-modal Multi-channel Network for Overall Survival Time Prediction of Brain Tumor Patients [151.4352001822956]
  生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。 既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。 我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
  論文  参考訳（メタデータ） (2020-06-01T05:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。