論文の概要: TNF: Tri-branch Neural Fusion for Multimodal Medical Data Classification
- arxiv url: http://arxiv.org/abs/2403.01802v3
- Date: Sun, 10 Mar 2024 08:43:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 13:41:27.810328
- Title: TNF: Tri-branch Neural Fusion for Multimodal Medical Data Classification
- Title（参考訳）: TNF: マルチモーダル医療データ分類のためのトリブランチニューラルフュージョン
- Authors: Tong Zheng, Shusaku Sone, Yoshitaka Ushiku, Yuki Oba, Jiaxin Ma
- Abstract要約: マルチモーダル医療画像と表データの分類を目的としたTNF(Tri-branch Neural Fusion)アプローチ
また、マルチモーダル分類におけるラベルの不整合に対処する2つの解決策も導入している。
- 参考スコア（独自算出の注目度）: 10.329260345873433
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a Tri-branch Neural Fusion (TNF) approach designed for
classifying multimodal medical images and tabular data. It also introduces two
solutions to address the challenge of label inconsistency in multimodal
classification. Traditional methods in multi-modality medical data
classification often rely on single-label approaches, typically merging
features from two distinct input modalities. This becomes problematic when
features are mutually exclusive or labels differ across modalities, leading to
reduced accuracy. To overcome this, our TNF approach implements a tri-branch
framework that manages three separate outputs: one for image modality, another
for tabular modality, and a third hybrid output that fuses both image and
tabular data. The final decision is made through an ensemble method that
integrates likelihoods from all three branches. We validate the effectiveness
of TNF through extensive experiments, which illustrate its superiority over
traditional fusion and ensemble methods in various convolutional neural
networks and transformer-based architectures across multiple datasets.
- Abstract（参考訳）: 本稿では,マルチモーダル医療画像と表データの分類を目的としたTNF(Tri-branch Neural Fusion)アプローチを提案する。
また、マルチモーダル分類におけるラベルの不整合に対処する2つの解決策も導入している。
従来のマルチモダリティ医療データ分類の手法は、通常、2つの異なる入力モダリティから特徴をマージするシングルラベルアプローチに依存している。
これは、機能が相互に排他的であったり、ラベルが異なる場合に問題となり、精度が低下する。
これを克服するために、tnfアプローチでは、イメージモダリティ用と表モダリティ用、イメージと表データの両方を融合する第3のハイブリッドアウトプットという、3つの別々のアウトプットを管理するトリブランチフレームワークを実装しています。
最後の決定は、3つの枝の全ての可能性を統合するアンサンブル法によってなされる。
様々な畳み込みニューラルネットワークや複数のデータセットにわたるトランスフォーマーベースのアーキテクチャにおいて、従来の融合法やアンサンブル法よりも優れていることを示す広範な実験を通じて、tnfの有効性を検証する。
関連論文リスト
- A Novel Perspective for Multi-modal Multi-label Skin Lesion Classification [20.05980794886644]
本稿ではマルチモーダルマルチラベルトランスフォーマーモデル(SkinM2Former)を用いた皮膚病変について述べる。
SkinM2Formerは、平均平均精度77.27%、平均診断精度77.85%を公開Derm7ptデータセットで達成し、最先端(SOTA)法より優れている。
論文 参考訳（メタデータ） (2024-09-19T01:31:38Z) - SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳（メタデータ） (2024-02-27T06:32:56Z) - Deep Multimodal Fusion of Data with Heterogeneous Dimensionality via
Projective Networks [4.933439602197885]
ヘテロジニアス次元(例えば3D+2D)を持つマルチモーダルデータの融合のための新しいディープラーニングベースのフレームワークを提案する。
この枠組みは、地理的萎縮(GA)の分画、加齢に伴う黄斑変性の後期発現、マルチモーダル網膜イメージングにおける網膜血管(RBV)の分画といった課題で検証された。
提案手法は, GAとRBVのセグメンテーションを最大3.10%, Diceを最大4.64%向上させる。
論文 参考訳（メタデータ） (2024-02-02T11:03:33Z) - MM-TTA: Multi-Modal Test-Time Adaptation for 3D Semantic Segmentation [104.48766162008815]
本稿では,3次元セマンティックセグメンテーションのためのテスト時間適応のマルチモーダル拡張を提案する。
マルチモダリティを最大限に活用できるフレームワークを設計するために、各モダリティは他のモダリティに対して正規化された自己監督信号を提供する。
正規化された擬似ラベルは、多数の多モードテスト時間適応シナリオにおいて安定した自己学習信号を生成する。
論文 参考訳（メタデータ） (2022-04-27T02:28:12Z) - LMR-CBT: Learning Modality-fused Representations with CB-Transformer for
Multimodal Emotion Recognition from Unaligned Multimodal Sequences [5.570499497432848]
マルチモーダル感情認識のためのCB-Transformer (LMR-CBT) を用いて, モダリティ融合表現を学習するための効率的なニューラルネットワークを提案する。
3つの挑戦的なデータセット上で、単語整列と非整列の実験を行います。
論文 参考訳（メタデータ） (2021-12-03T03:43:18Z) - Gated recurrent units and temporal convolutional network for multilabel
classification [122.84638446560663]
本研究は,マルチラベル分類を管理するための新しいアンサンブル手法を提案する。
提案手法のコアは,Adamグラデーション最適化アプローチの変種で訓練された,ゲート再帰単位と時間畳み込みニューラルネットワークの組み合わせである。
論文 参考訳（メタデータ） (2021-10-09T00:00:16Z) - Rank-Consistency Deep Hashing for Scalable Multi-Label Image Search [90.30623718137244]
スケーラブルなマルチラベル画像検索のための新しいディープハッシュ法を提案する。
2つの空間の類似性順序を整列するために、新しい階数整合性目的を適用した。
強力な損失関数は、意味的類似性とハミング距離が一致しないサンプルをペナルティ化するように設計されている。
論文 参考訳（メタデータ） (2021-02-02T13:46:58Z) - Self-Supervised Multimodal Domino: in Search of Biomarkers for
Alzheimer's Disease [19.86082635340699]
自己監督型表現学習アルゴリズムを編成する合理的な方法の分類法を提案する。
まず,おもちゃのマルチモーダルMNISTデータセットのモデルを評価し,アルツハイマー病患者を用いたマルチモーダル・ニューロイメージングデータセットに適用した。
提案手法は,従来の自己教師付きエンコーダデコーダ法よりも優れていた。
論文 参考訳（メタデータ） (2020-12-25T20:28:13Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳（メタデータ） (2020-01-06T20:03:17Z) - Modality-based Factorization for Multimodal Fusion [43.5556371763323]
マルチモーダル推論タスクにおける各モーダルの相対的寄与を理解し,調整するための新しい手法であるMRRF(Modality-based Redundancy Reduction Fusion)を提案する。
本手法を感情分析,性格特性認識,感情認識の3つの異なるマルチモーダルデータセットに適用した。
これらのタスクの関連性や異なるモダリティの相対的重要性を認識し,3つのタスクの最先端と比較して,いくつかの評価尺度において1%から4%の改善が達成されている。
論文 参考訳（メタデータ） (2018-11-30T05:43:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。