論文の概要: Improved Multimodal Fusion for Small Datasets with Auxiliary Supervision
- arxiv url: http://arxiv.org/abs/2304.00379v1
- Date: Sat, 1 Apr 2023 20:07:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 18:26:25.422563
- Title: Improved Multimodal Fusion for Small Datasets with Auxiliary Supervision
- Title（参考訳）: Auxiliary Supervisionによる小型データセットのマルチモーダルフュージョンの改良
- Authors: Gregory Holste, Douwe van der Wal, Hans Pinckaers, Rikiya Yamashita,
Akinori Mitani, Andre Esteva
- Abstract要約: 小型データセットによるマルチモーダル融合を改善するための3つの簡単な方法を提案する。
提案手法は実装が簡単で,画像と非画像のデータを用いた任意の分類タスクに適用可能である。
- 参考スコア（独自算出の注目度）: 3.8750633583374143
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Prostate cancer is one of the leading causes of cancer-related death in men
worldwide. Like many cancers, diagnosis involves expert integration of
heterogeneous patient information such as imaging, clinical risk factors, and
more. For this reason, there have been many recent efforts toward deep
multimodal fusion of image and non-image data for clinical decision tasks. Many
of these studies propose methods to fuse learned features from each patient
modality, providing significant downstream improvements with techniques like
cross-modal attention gating, Kronecker product fusion, orthogonality
regularization, and more. While these enhanced fusion operations can improve
upon feature concatenation, they often come with an extremely high learning
capacity, meaning they are likely to overfit when applied even to small or
low-dimensional datasets. Rather than designing a highly expressive fusion
operation, we propose three simple methods for improved multimodal fusion with
small datasets that aid optimization by generating auxiliary sources of
supervision during training: extra supervision, clinical prediction, and dense
fusion. We validate the proposed approaches on prostate cancer diagnosis from
paired histopathology imaging and tabular clinical features. The proposed
methods are straightforward to implement and can be applied to any
classification task with paired image and non-image data.
- Abstract（参考訳）: 前立腺がんは、世界中の男性におけるがん関連死因の1つである。
多くのがんと同様に、診断には画像、臨床リスクファクターなどの異種患者情報の専門的な統合が含まれる。
このため, 画像と非画像の深層多モード融合への取り組みが, 臨床判定タスクにおいて行われている。
これらの研究の多くは、各患者のモダリティから学習した特徴を融合させる方法を提案し、クロスモーダルアテンションゲーティング、クロネッカー製品融合、直交正則化などの技術により、下流の改善をもたらす。
これらの強化された融合操作は、機能結合によって改善されるが、非常に高い学習能力を持つことが多い。
高度に表現力の高い融合操作をデザインする代わりに,訓練中に補助的監督源を生成することで最適化を支援する小型データセットによるマルチモーダル融合の改善のための3つの簡単な方法を提案する。
前立腺癌診断における病理組織像と表在性臨床像からのアプローチを検証した。
提案手法は実装が簡単で,画像と非画像のデータを用いた任意の分類タスクに適用可能である。
関連論文リスト
- Boosting Medical Image-based Cancer Detection via Text-guided Supervision from Reports [68.39938936308023]
本研究では, 高精度ながん検出を実現するための新しいテキスト誘導学習法を提案する。
本手法は,大規模プレトレーニングVLMによる臨床知識の活用により,一般化能力の向上が期待できる。
論文 参考訳（メタデータ） (2024-05-23T07:03:38Z) - MMFusion: Multi-modality Diffusion Model for Lymph Node Metastasis Diagnosis in Esophageal Cancer [13.74067035373274]
CT画像に基づくリンパ節転移診断のためのマルチモーダルな不均一グラフに基づく条件付き特徴誘導拡散モデルを提案する。
本稿では, 悪性腫瘍とリンパ節像の関連性, 優先性を明らかにすることを目的として, マスク付き関係表現学習戦略を提案する。
論文 参考訳（メタデータ） (2024-05-15T17:52:00Z) - SELECTOR: Heterogeneous graph network with convolutional masked autoencoder for multimodal robust prediction of cancer survival [8.403756148610269]
がん患者生存のマルチモーダル予測は、より包括的で正確なアプローチを提供する。
本稿では、畳み込みマスクエンコーダに基づく異種グラフ認識ネットワークであるSELECTORを紹介する。
本手法は,モダリティ欠落とモダリティ内情報確認の両事例において,最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-03-14T11:23:39Z) - Optimizing Skin Lesion Classification via Multimodal Data and Auxiliary
Task Integration [54.76511683427566]
本研究は, スマートフォンで撮影した画像と本質的な臨床および人口統計情報を統合することで, 皮膚病変を分類する新しいマルチモーダル手法を提案する。
この手法の特徴は、超高解像度画像予測に焦点を当てた補助的なタスクの統合である。
PAD-UFES20データセットを用いて,様々なディープラーニングアーキテクチャを用いて実験を行った。
論文 参考訳（メタデータ） (2024-02-16T05:16:20Z) - A New Multimodal Medical Image Fusion based on Laplacian Autoencoder
with Channel Attention [3.1531360678320897]
ディープラーニングモデルは、非常に堅牢で正確なパフォーマンスでエンドツーエンドの画像融合を実現した。
ほとんどのDLベースの融合モデルは、学習可能なパラメータや計算量を最小限に抑えるために、入力画像上でダウンサンプリングを行う。
本稿では,ラープラシア・ガウス統合とアテンションプールを融合したマルチモーダル医用画像融合モデルを提案する。
論文 参考訳（メタデータ） (2023-10-18T11:29:53Z) - Cross-modality Attention-based Multimodal Fusion for Non-small Cell Lung
Cancer (NSCLC) Patient Survival Prediction [0.6476298550949928]
非小細胞肺癌(NSCLC)における患者生存予測のためのモダリティ特異的知識の統合を目的としたマルチモーダル核融合パイプラインを提案する。
組織画像データとRNA-seqデータのみを用いてc-index0.5772と0.5885を達成した単一モダリティと比較して, 提案した融合法はc-index0.6587を達成した。
論文 参考訳（メタデータ） (2023-08-18T21:42:52Z) - Validating polyp and instrument segmentation methods in colonoscopy through Medico 2020 and MedAI 2021 Challenges [58.32937972322058]
メディコオートマチックポリープセグメンテーション(Medico 2020)と「メディコ:医療画像の透明性(MedAI 2021)」コンペティション。
本報告では, それぞれのコントリビューションを包括的に分析し, ベストパフォーマンスメソッドの強さを強調し, クリニックへの臨床翻訳の可能性について考察する。
論文 参考訳（メタデータ） (2023-07-30T16:08:45Z) - Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。
提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。
その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-04-10T17:58:22Z) - RadioPathomics: Multimodal Learning in Non-Small Cell Lung Cancer for
Adaptive Radiotherapy [1.8161758803237067]
非小細胞肺癌に対する放射線治療成績を予測するため, マルチモーダルレイトフュージョン法を開発した。
実験により、AUCが90.9%ドルと同等のマルチモーダルパラダイムが、各ユニモーダルアプローチより優れていることが示された。
論文 参考訳（メタデータ） (2022-04-26T16:32:52Z) - Explaining Clinical Decision Support Systems in Medical Imaging using
Cycle-Consistent Activation Maximization [112.2628296775395]
ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。
臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。
そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
論文 参考訳（メタデータ） (2020-10-09T14:39:27Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。